arrow
返回

Transformers as Transducers

delete2025-02-28
delete0
delete
OA
AI
L
Lena Strobl *
D
Dana Angluin
D
David Chiang
J
Jonathan Rawski
A
Ashish Sabharwal
DOI:10.1162/tacl_a_00736delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
我们通过将转换器与有限转换器相关联,研究了它们的序列到序列映射能力,并发现它们可以表达令人惊讶的大量(全函数)转换。我们使用一种名为RASP的编程语言的变体——该语言旨在帮助人们像转换器一样思考——作为中间表示来实现这一点。我们将现有的布尔变体B-RASP扩展到序列到序列的转换,并证明它可以精确计算一阶有理转换(如字符串旋转)。接着,我们引入两种新的扩展。B-RASP[pos]支持位置计算(如复制字符串的前半部分),并包含所有一阶正则转换。S-RASP增加了前缀和,这使得额外的算术运算成为可能(如对字符串进行平方运算),并包含所有一阶多项式正则转换。最后,我们证明了掩码平均硬注意力转换器可以模拟S-RASP。

期刊

T
Transactions of the Association for Computational Linguistics
IF:
6.9
论文数:
486
被引数:
5.7K

机构

S
San Jose State University
学者数:
1.3K
论文数: 1.0K
被引数: 15
A
allen inst ai
学者数:
4
论文数: 3
被引数: 0
U
Univ Notre Dame
学者数:
576
论文数: 324
被引数: 106
U
Umea University
学者数:
1.4W
论文数: 1.4W
被引数: 134
学者 查看更多机构
引用论文

引用论文

Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them
err2023-01-01
err0
errOAAI
errMirac Suzgun; Nathan Scales; Nathanael Schärli; Sebastian Gehrmann; Yi Tay; Hyung Won Chung; Aakanksha Chowdhery; Quoc Le; Ed Chi; Denny Zhou; Jason Wei
err分享
err收藏
err分享
err收藏
学者 查看更多内容