Circuit explained: How does a transformer perform compositional generalization

doi:10.1371/journal.pone.0340088

2026-02-04

PRE

Cheng Tang

Brenden Lake

Mehrdad Jazayeri *

DOI：10.1371/journal.pone.0340088

原文链接

原文求助

摘要

En 中文

结构化泛化——将已知组件系统地组合成新颖结构的能力——是人类灵活认知的基础，然而在神经网络中实现这一能力的机制在机器学习和认知科学中仍不为人所知。[1]的研究表明，一个紧凑的编码器-解码器转换器可以在序列算术任务中实现简单的结构化泛化。在本工作中，我们识别并从机制上解释了此类模型中负责此行为的电路。通过因果消融，我们隔离了该电路，并表明这种理解能够通过精确的激活编辑来可预测地引导模型的输出。我们发现，该电路在不编码任何特定函数的特定语义的情况下执行函数组合——相反，它利用标记位置和标识的解耦表示来在整个函数族中应用通用的标记重新映射规则。尽管该电路机制是在有限数量的合成任务的小规模模型中识别出来的，但它为符号结构化如何在转换器中涌现提供了见解，并为大规模模型中的类似机制提供了可检验的假设。模型和分析的代码已公开可用。

Keyword:

compositional generalization

transformer models

causal ablation

function composition

disentangled representation