返回
Bidirectional trained tree-structured decoder for Handwritten Mathematical Expression Recognition
DOI:10.1016/j.patcog.2025.111599.png)
摘要
En 中文
手写数学表达式识别(HMER)任务是光学字符识别(OCR)领域的一个重要分支。近期研究表明,融入双向上下文信息能显著提升HMER模型的性能。然而,现有方法在推理阶段未能有效利用双向上下文信息。此外,当前的训练方法主要针对字符串解码器设计,难以充分泛化至树解码器,而后者具有更强的泛化能力和结构分析能力。为克服这些局限,我们提出了镜像翻转符号布局树(MF-SLT)和双向异步训练(BAT)结构。我们的方法将双向训练策略扩展至树解码器,通过利用双向信息实现更有效的训练。此外,我们分别分析了视觉和语言感知对HMER模型的影响,并引入了共享语言模型(SLM)机制。通过SLM,我们增强了模型在处理视觉歧义时的鲁棒性和泛化能力,尤其在训练数据充足的情况下。我们的方法通过大量实验得到验证,在CROHME 2014、2016、2019以及HME100K数据集上实现了新的最佳结果。实验中使用的代码将公开在https://github.com/Hanbo-Cheng/BAT.git。
Keyword:
Handwritten Mathematical Expression
Recognition
Bidirectional training
Symbol Layout Tree
Encoder-decoder
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
Tree-based data augmentation and mutual learning for offline handwritten mathematical expression recognition
PATTERN RECOGNITION
IF7.6
Language Model is Suitable for Correction of Handwritten Mathematical Expressions Recognition语言模型适用于手写数学表达式识别的校正。
An integrated grammar-based approach for mathematical expression recognition
PATTERN RECOGNITION
IF7.6

