arrow
返回

Bidirectional trained tree-structured decoder for Handwritten Mathematical Expression Recognition

delete2025-04-24
delete0
PRE
AI
H
Hanbo Cheng
C
Chenyu Liu
P
Pengfei Hu
Z
Zhenrong Zhang
J
Jiefeng Ma
杜
杜俊 (Jun Du) *
DOI:10.1016/j.patcog.2025.111599delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
手写数学表达式识别(HMER)任务是光学字符识别(OCR)领域的一个重要分支。近期研究表明,融入双向上下文信息能显著提升HMER模型的性能。然而,现有方法在推理阶段未能有效利用双向上下文信息。此外,当前的训练方法主要针对字符串解码器设计,难以充分泛化至树解码器,而后者具有更强的泛化能力和结构分析能力。为克服这些局限,我们提出了镜像翻转符号布局树(MF-SLT)和双向异步训练(BAT)结构。我们的方法将双向训练策略扩展至树解码器,通过利用双向信息实现更有效的训练。此外,我们分别分析了视觉和语言感知对HMER模型的影响,并引入了共享语言模型(SLM)机制。通过SLM,我们增强了模型在处理视觉歧义时的鲁棒性和泛化能力,尤其在训练数据充足的情况下。我们的方法通过大量实验得到验证,在CROHME 2014、2016、2019以及HME100K数据集上实现了新的最佳结果。实验中使用的代码将公开在https://github.com/Hanbo-Cheng/BAT.git。
Keyword:
Handwritten Mathematical Expression
Recognition
Bidirectional training
Symbol Layout Tree
Encoder-decoder

期刊

Pattern Recognition 封面图
Pattern Recognition
IF:
7.6
论文数:
1.3W
被引数:
4.5W

机构

I
iflytek res
学者数:
3
论文数: 2
被引数: 0
U
University of Science and Technology of China
学者数:
1.7W
论文数: 6.0K
被引数: 11.3W
引用论文

引用论文

Tree-based data augmentation and mutual learning for offline handwritten mathematical expression recognition
err2022-12-01
err10
PREAI
errYang, Chen; Du, Jun; Zhang, Jianshu; Wu, Changjie; Chen, Mingjun; Wu, JiaJia
err分享
err收藏
An integrated grammar-based approach for mathematical expression recognition
err2016-03-01
err76
errOAAI
errAlvaro, Francisco; Sanchez, Joan-Andreu; Benedi, Jose-Miguel
err分享
err收藏
err分享
err收藏
err分享
err收藏
学者 查看更多内容