Designing Safe SuperIntelligence

Craig A. Kaplan

doi:10.1007/978-3-032-00686-8_29

Designing Safe SuperIntelligence

2026-01-01

0

PRE

AI

C

Craig A. Kaplan *

DOI：10.1007/978-3-032-00686-8_29

原文链接

摘要

En 中文

研究人员在开发安全、与人类对齐的超级智能（SI）时面临至少六个挑战。首先，我们需要通过设计实现安全SI。其次，我们需要透明且可理解的SI。第三，随着SI超越人类监控其行为的能力，我们需要保持一定程度的控制。第四，我们需要初始对齐SI的方法，并在SI智能提升时维持对齐。第五，我们需要可扩展的安全机制。第六，SI的设计必须处理其智能水平可能发生的潜在指数级变化。当前使用机器学习开发不透明模型的方法，并辅以RLHF进行安全测试，无法满足这些挑战。我们需要一种新方法，强调通过设计实现安全和与人类对齐。本文提出了一种新的SI设计，利用众多人类和AI代理的集体智能，采用严格的、透明的架构支持问题解决、学习和自我改进。该设计兼容当前的LLM和基础模型。与训练万亿参数LLM相比，其开发成本更低、能力更强、速度更快。最重要的是，它最大限度地与广泛代表性的人类价值观对齐，并在SI超越人类监控能力时保持动态对齐。

Keyword:

Superintelligence

Artificial General Intelligence

AI Agents

AI Safety

Designing Safe SuperIntelligence

摘要

期刊

机构

引用论文