.png){kind=icon}
返回
A Retrieval Augmentation Self-Distillation Method for Math Word Problem Solving
.png){kind=icon}
OA
AI
DOI：10.3390/electronics14173425.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
自动解决数学应用题是自然语言处理领域的一项关键任务。由于现有MWP数据集规模不足，近期模型已达到性能瓶颈。大规模、高质量的训练样本对于训练鲁棒性强的数学求解器至关重要，但现有高质量数据集的规模有限，而明确标注或合成大量MWP的成本极高。为解决这些问题，我们提出了一种基于隐藏空间检索增强的自蒸馏方法（RASD），通过语义表示增强和自蒸馏学习来提升MWP求解器的数学推理性能。RASD通过检索和合并相似问题来增强问题表示，然后将原始及增强表示同时输入解码器进行解题推理，并利用自蒸馏目标维持二者间的推理一致性。在包括MAWPS、Math23K、ASDiv-A、SVAMP和GeoQA在内的五个流行数学应用题求解基准上的大量实验表明，我们的RASD方法能有效且普遍地提升多种流行基线求解器的数学推理能力。
Keyword:
math word problems
natural language processing
retrieval augmentation
self-distillation
mathematical reasoning
期刊
IF:
2.6
论文数:
1.1W
被引数:
4.7W
机构
暂无机构信息
引用论文
Patel, A.; Bhattamishra, S.; Goyal, N. Are NLP models really able to solve simple math word problems? arXiv 2021, arXiv:2103.07191. [Google Scholar] [CrossRef]Patel, A.; Bhattamishra, S.; Goyal, N. 自然语言处理模型真的能够解决简单的数学文字问题吗？arXiv 2021, arXiv:2103.07191. [Google Scholar] [CrossRef].png)
IF0
PREAI
分享收藏Tsai, S.h.; Liang, C.C.; Wang, H.M.; Su, K.Y. Sequence to general tree: Knowledge-guided geometry word problem solving. arXiv 2021, arXiv:2106.00990. [Google Scholar] [CrossRef]Tsai, S.h.; Liang, C.C.; Wang, H.M.; Su, K.Y. 序列到一般树：知识引导的几何问题求解。arXiv 2021, arXiv:2106.00990. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏Guo, H.; Mao, Y.; Zhang, R. Augmenting data with mixup for sentence classification: An empirical study. arXiv 2019, arXiv:1905.08941. [Google Scholar] [CrossRef]郭, H.; 毛, Y.; 张, R. 使用mixup增强数据进行句子分类：一项实证研究. arXiv 2019, arXiv:1905.08941. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏Chen, J.; Li, T.; Qin, J.; Lu, P.; Lin, L.; Chen, C.; Liang, X. UniGeo: Unifying Geometry Logical Reasoning via Reformulating Mathematical Expression. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, Abu Dhabi, United Arab Emirates, 7–11 December 2022; Goldberg, Y., Kozareva, Z., Zhang, Y., Eds.; pp. 3313–3323. [Google Scholar] [CrossRef]Chen, J.; Li, T.; Qin, J.; Lu, P.; Lin, L.; Chen, C.; Liang, X. UniGeo：通过重述数学表达式统一几何逻辑推理。载于《2022年自然语言处理经验方法会议论文集》，阿布扎比，阿拉伯联合酋长国，2022年12月7日至11日；Goldberg, Y., Kozareva, Z., Zhang, Y. 主编；第3313-3323页。[Google Scholar][CrossRef]
IF0
PREAI
分享收藏
查看更多内容