Symbolic learning enables self-evolving agents

doi:10.1016/j.aiopen.2025.11.004

2025-12-01

DOI：10.1016/j.aiopen.2025.11.004

原文链接

查看原文

摘要

En 中文

人工智能社区一直在探索通过开发语言代理（language agents）来实现通用人工智能（AGI）的路径，这些语言代理是涉及提示技术（prompting techniques）和工具使用方法（tool usage methods）的复杂大型语言模型（LLMs）工作流。尽管语言代理已在许多现实任务中展现出令人印象深刻的能力，但当前语言代理研究的根本局限性在于其以模型为中心（model-centric）或以工程为中心（engineering-centric）。也就是说，语言代理的提示、工具和工作流的设計需要大量的人工工程努力，而非通过数据自动学习。我们相信，从以模型为中心或以工程为中心转向以数据为中心（data-centric），即语言代理在环境中自主学习和进化的能力，是实现AGI的关键。在这项工作中，我们介绍了代理符号学习（agent symbolic learning），这是一种使语言代理能够以数据为中心的方式自行优化的系统性框架，使用符号优化器（symbolic optimizers）。具体而言，我们将代理视为符号网络，其中可学习的权重由提示、工具及其堆叠方式定义。代理符号学习通过模拟连接学习（connectionist learning）中的两个基本算法——反向传播（back-propagation）和梯度下降（gradient descent）——以数据为中心的方式优化语言代理中的符号网络。与处理数值权重不同，代理符号学习使用基于文本的权重、损失和梯度。我们在标准基准测试和复杂现实任务上进行了概念验证实验，并展示了相较于静态代理框架和简单的提示/工具优化方法，取得了显著改进。此外，代理符号学习使语言代理能够在部署到实际环境后自行更新，从而实现自我进化的代理。我们将开源代理符号学习框架，以促进未来对以数据为中心的代理学习的研究。

Keyword:

Large language model

Language agents

Agent learning