返回
Transformers as Transducers
DOI:10.1162/tacl_a_00736.png)
摘要
En 中文
我们通过将转换器与有限转换器相关联,研究了它们的序列到序列映射能力,并发现它们可以表达令人惊讶的大量(全函数)转换。我们使用一种名为RASP的编程语言的变体——该语言旨在帮助人们像转换器一样思考——作为中间表示来实现这一点。我们将现有的布尔变体B-RASP扩展到序列到序列的转换,并证明它可以精确计算一阶有理转换(如字符串旋转)。接着,我们引入两种新的扩展。B-RASP[pos]支持位置计算(如复制字符串的前半部分),并包含所有一阶正则转换。S-RASP增加了前缀和,这使得额外的算术运算成为可能(如对字符串进行平方运算),并包含所有一阶多项式正则转换。最后,我们证明了掩码平均硬注意力转换器可以模拟S-RASP。
期刊
T
IF:
6.9
论文数:
486
被引数:
5.7K
机构
引用论文
Implicit automata in typed λ-calculi I: aperiodicity in a non-commutative logic类型化λ演算中的隐式自动机 I:非交换逻辑中的无周期性

