返回
CharFormer: Character-oriented attention network for string edit distance
DOI:10.1016/j.knosys.2025.113482.png)
摘要
En 中文
字符串相似度计算在众多实际应用中扮演着至关重要的角色,例如相似性搜索和序列比对。字符串编辑距离(SED)是一种代表性的相似度度量方法,能够有效地衡量字符串之间的相似性。然而,其二次方复杂度使得SED的计算具有挑战性,尤其是在处理大规模数据集时。因此,近年来,越来越多的算法采用深度学习技术来加速SED的计算。然而,我们观察到现有方法通常采用双编码器框架来学习单个字符串的特征,这导致忽略了字符串之间的匹配信息。此外,这些方法未能充分利用子序列信息以及采样空间。为此,我们提出了一种基于字符的注意力网络CharFormer,用于学习SED的计算。具体而言,CharFormer在字符粒度上运行,利用输入字符串的内部序列信息以及它们之间的外部序列信息来学习字符和字符串的表示。随后,CharFormer使用两个预测头同时利用这两种信息来预测字符串之间的相似度。此外,我们还引入了子字符串之间的相似度以提供额外的监督,并设计了一种新颖的采样方法以充分挖掘采样空间。广泛的实验结果表明,CharFormer在性能上优于当前最先进的算法,且所提出的方法具有显著的有效性。
Keyword:
String similarity learning
Deep learning
Attention network
期刊
K
IF:
7.6
论文数:
1.2W
被引数:
4.5W

