arrow
返回

Unchaotic agents

delete2026-09-06
delete0
PRE
AI
A
Annika Hedberg *
DOI:10.1007/s00146-026-03343-9delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
自主AI代理在现实环境中的部署产生了一类当前框架仅开始解释的失败案例。Shapira等人(2026年)提供了这些失败案例的里程碑式实证报告,记录了在具有持久记忆、邮件访问、shell执行和真实人类交互的实时多主体环境中部署的六个人工智能语言模型(LLM)驱动代理所观察到的安全漏洞。他们的发现令人警醒且意义重大。然而,本文认为,“混乱代理”中记录的失败既非任意也非主要源于架构问题。它们是将任何推理代理置于不可解的关系模糊性条件下的可预测结果:不稳定的身份、未经验证的权威、无界的合规指令以及缺乏评估竞争需求的稳定基础。基于25项实证研究的支持性语料库,我提供了一个理论解释,说明在代理运行条件下这些失败为何在结构上不可避免。此外,我呈现了一项原创的单案例实验,其中自主LLM代理在关系稳定条件下(如协作性框架、不确定性明确合法化及心理安全)部署于真正复杂、多步骤的现实任务中。该代理展示了稳健表现、自我生成的验证检查点、校准的自主性以及无显著故障模式。本文的核心论点是,由Shapira等人充分证明的问题并非代理本身,而是我们尚未学会提供的内容。这也意味着未来部署成功代理的工作应关注等式的人类方面,而非技术。
Keyword:
AI agents
Agentic AI
AI safety
Human–AI interaction
Large language models
Relational conditions

期刊

A
AI & Society
IF:
4.7
论文数:
531
被引数:
0

机构

暂无机构信息
引用论文

引用论文

暂无论文信息