.png){kind=icon}
返回
Constructing Compact BPE Token DFAs
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-02602-6_3.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
字节对编码（BPE）分词是一种将文本细分为相关子词的流行技术，并经常用于大型语言模型系统。由于分词过程是确定性的，且产生正则语言，因此采用有限自动机对其进行表征是有益的，以便允许进一步的自动机辅助处理，例如模式匹配。在本文中，我们展示了如何在实践中高效地构建此类自动机，并应用一系列优化技术来紧凑地表示它们。
Keyword:
COMPRESSION
期刊
I
IF:
0
论文数:
22
被引数:
0
机构
.png){kind=icon}
没有更多内容