.png){kind=icon}
返回
Small Transformer Architectures for Task Switching
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-04558-4_10.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大规模生成式AI的快速进展在很大程度上基于注意力机制。然而，构想出能超越传统方法（如多层感知器或循环网络）的小规模应用并非易事。我们在“任务切换”的背景下考察了这一问题。在此框架中，模型处理持续进行的标记序列，当前任务由随机插入的控制标记决定。我们证明，标准Transformer无法解决一个基于有限域算术的基本任务切换参考模型，该模型包含专门用于增量/加法/反向复制/上下文（IARC）的子任务。我们表明，Transformer、长短期记忆循环网络（LSTM）和纯多层感知器（MLP）实现了相似的，但仅适度的预测精度。我们通过纳入标准Transformer架构的扩展版本（其非平移不变对应物cisformer）和一种替代注意力机制（扩展注意力）来扩展我们的比较研究。发现后者的组合是唯一能够达到约95%显著性能水平的模型。我们的结果表明，在任务切换设置中比较定性不同的表述，可以更好地理解并改进注意力的工作机制。
Keyword:
attention
transformer
task-switching
期刊
A
IF:
0
论文数:
53
被引数:
0
机构
引用论文
.png){kind=icon}
Scaling Laws Under the Microscope: Predicting Transformer Performance from Small Scale Experiments
PREAI
分享收藏
Kick Control: Using the Attracting States Arising Within the Sensorimotor Loop of Self-Organized Robots as Motor Primitives踢控：利用自组织机器人在传感运动回路中产生的吸引态作为运动基元
PREAI
分享收藏 没有更多内容
没有更多内容