Balancing Gradient Frequencies Facilitates Inductive Inference in Algorithmic Reasoning

doi:10.1109/tpami.2026.3742445

Balancing Gradient Frequencies Facilitates Inductive Inference in Algorithmic Reasoning

2026-10-13

0

OA

AI

DOI：10.1109/tpami.2026.3742445

原文链接

原文求助

摘要

En 中文

归纳推理，或从有限实例中推断一般规则，被认为是人类智能的基础。然而，深度神经网络（DNNs）在归纳推理方面存在困难，因此无法学习算法推理（AR）中最简单的算法。现有的基于DNNs的AR研究仅限于DNNs的架构设计。本研究探讨了优化技术对AR性能的影响。通过旨在理解优化器对非泛化解决方案的易感性的玩具实验，我们发现Adam（一种简单的优化选择）极易被虚假相关性误导。为克服Adam的这一缺陷，我们提出了一种新型优化器，通过平衡低频和高频梯度来避免虚假相关性（BGF）。我们进行了广泛的实验和分析，以证明BGF在各种架构和AR任务中的广泛且多方面的优势。特别是，BGF扩展了所有研究的DNN模型的AR能力，甚至显示出使它们能够学习之前未能完成的任务的潜力。BGF在攀登乔姆斯基层次结构方面的成功，强调了优化对于使用DNNs开发先进人工智能的重要性。

Keyword:

Algorithmic Reasoning

Inductive Inference

Spurious Correlation

Out-of-Distribution Generalization

Balancing Gradient Frequencies Facilitates Inductive Inference in Algorithmic Reasoning

摘要

期刊

机构

引用论文