返回
WriteViT: Handwritten text generation with vision transformer
DOI:10.1016/j.eswa.2026.133742.png)
摘要
En 中文
人类能够仅凭一个示例快速掌握书写者的风格,直观地捕捉到笔迹中的微妙模式。然而,机器在这方面面临困难,尤其是在数据不足的条件下。为弥合这一差距,我们提出了WriteViT,一种基于视觉变换器(ViT)的单样本手写文本合成框架。该框架包含三个基于变换器的组件:一个基于ViT的书写者识别器,能够从单个参考图像中提取特定于书写者的风格嵌入;一个轻量级的基于ViT的识别器,在训练过程中提供内容监督;以及一个配备条件位置编码(CPE)的分层多尺度变换器生成器,用于渐进式手写合成。与通常依赖基于CNN的风格编码器和基于CRNN的识别器的先前手写合成方法相比,这种基于变换器的设计更适合建模手写中的长距离依赖关系,同时也能捕捉细粒度的笔画模式和更高级的样式特征。在IAM(英语)、CVL(德语和英语)和HANDS-VNOnDB(越南语)上的实验表明,WriteViT能够生成高质量、风格一致的手写文本,并且在不同语言和低资源环境下表现良好;据我们所知,这项工作是首次研究越南语手写合成的尝试。
Keyword:
Handwritten text synthesis
Vision transformer
One-shot learning
Vietnamese handwriting
Multi-scale generation
Generative adversarial networks

