Improving Arabic Language Spell Checking Using Deep Learning Techniques

doi:10.1145/3803007

2026-05-01

PRE

Abdulnabi, Isra'a

Rehab Duwairi *

DOI：10.1145/3803007

原文链接

原文求助

摘要

En 中文

拼写检查，包括拼写错误检测和纠正，是自然语言处理领域的一个经典问题。最常见的软性拼写错误是打字错误；它们由于某些阿拉伯字母的正字法变化而产生，尽管其发音相同。本研究旨在对现代标准阿拉伯语拼写检查任务进行实验和应用一种近期先进的基于注意力的Transformer深度学习模型，该模型采用了神经机器翻译的序列到序列（seq-to-seq）损失函数。我们使用OpenNMT（一个开源神经网络库）来训练Transformer的双向编码器表示模型（BERT）和双向长短期记忆网络模型（BiLSTM），作为检测和纠正阿拉伯语软性拼写错误的基线模型。序列到序列模型将损坏的文本（输入序列）转换为干净、无错误的文本（输出序列）。合成数据集是从“SCUT语料库版本3”生成的，我们创建并应用了一个随机噪声注入混淆函数。该过程涉及在文本中随机位置替换字符以模拟拼写错误。其目的是模仿常见的人类打字或转录错误，包括打字错误和认知性拼写错误。在评估模型性能时考虑了注入数据中的损坏比例和输入序列的长度。训练后的模型在准确率和双语评估替代分数（BLEU）方面的结果是有前景的，并且优于其他解决方案。

Keyword:

Arabic spell-checking dataset

neural machine translation

Seq-to-Seq models

BERT