.png){kind=icon}
返回
Visual-Semantic Dual-Decoder Collaboration for Scene Text Recognition
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-5676-2_42.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
场景文本识别旨在从包含多种语言文本的自然图像中提取文本内容，并在多样化的视觉条件下进行。尽管近期基于Transformer的方法取得了令人印象深刻的结果，但它们主要针对英语和其他资源丰富的语言。先前的工作利用语言建模和鲁棒架构来改善在挑战性条件下的识别性能。然而，这些方法通常依赖大规模标注数据集，并且在处理低资源、形态复杂的脚本（如维吾尔文）时存在困难，这些脚本存在同形异体字、连写以及训练数据有限等挑战。为解决这些问题，我们提出了一个用于维吾尔文场景文本识别的双解码器框架，包含一个共享视觉编码器和两个互补的解码器：一个用于语义建模的排列语言模型解码器和一个用于增强视觉-语义交互的连接耦合解码器。我们还引入了一个受KL散度损失引导的轻量级融合模块，并采用渐进式训练策略以提升收敛性。我们的方法在自建的维吾尔文数据集上达到95.93%的准确率，分别超越DAN和CDistNet 0.54%和2.97%，展示了其在低资源和形态复杂脚本上的有效性。此外，该方法在七个英语基准测试中的平均提升0.38%，突显了其强大的跨语言泛化能力。
Keyword:
Scene Text Recognition
Dual-Decoder Architecture
Visual-Semantic Coupling
Uyghur Text Recognition
期刊
P
IF:
0
论文数:
29
被引数:
0
机构
引用论文
MORAN: A Multi-Object Rectified Attention Network for scene text recognitionMORAN: 用于场景文本识别的多目标校正注意力网络.png)
PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
Wei, J.; Zhan, H.; Lu, Y.; Tu, X.; Yin, B.; Liu, C.; Pal, U. Image as a Language: Revisiting Scene Text Recognition via Balanced, Unified and Synchronized Vision-Language Reasoning Network. Proc. AAAI Conf. Artif. Intell. 2024, 38, 5885–5893. [Google Scholar] [CrossRef]Wei, J.; Zhan, H.; Lu, Y.; Tu, X.; Yin, B.; Liu, C.; Pal, U. 图像即语言：通过平衡、统一和同步的视觉-语言推理网络重新审视场景文本识别。Proc. AAAI Conf. Artif. Intell. 2024, 38, 5885–5893. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏
查看更多内容