返回
Offline Handwritten Mathematical Formula Recognition Based on Primitive Representation
DOI:10.1007/978-3-032-09368-4_22.png)
摘要
En 中文
复杂二维结构使得手写数学公式的识别成为一项具有挑战性的任务,而离线方法无法利用笔顺信息和轨迹信息,进一步增加了准确识别的难度。传统的场景文本识别方法未能充分挖掘公式文本的稳定且有效的特征表示。为解决此问题,本文提出了一种新颖的离线手写数学公式识别方法,旨在利用公式图像的内在表示。首先,将特征图中的元素建模为无向图中的节点,并使用池化聚合器和加权聚合器学习原始表示,生成二维特征图。随后,采用图卷积网络(GCN)获取文本表示,并将其与位置编码一起输入自注意力网络。通过采用Transformer的自注意力机制,模型能够捕捉二维特征图上的长距离依赖关系,从而实现对任意排列和间距较大的字符的识别。构建了一个用于学习原始表示的网络,利用可视化的文本表示进行并行解码。所提出的模型已在CROHME 2014/2016/2019数据集上与其他最先进(SOTA)的手写数学公式识别(HMER)技术进行了比较,并取得了最佳结果。
Keyword:
Handwritten Mathematical ExpressionAaRecognition
Encoder-Decoder
Deep Neural Networks
Primitive Representation Learning
Graph Convolutional Network
期刊
D
IF:
0
论文数:
22
被引数:
0
机构
引用论文
SATD: syntax-aware handwritten mathematical expression recognition based on tree-structured transformer decoder
VISUAL COMPUTER
IF2.9
Offline handwritten mathematical expression recognition with graph encoder and transformer decoder
PATTERN RECOGNITION
IF7.6

