返回
Bayesian teaching enables probabilistic reasoning in large language models
DOI:10.1038/s41467-025-67998-6.png)
摘要
En 中文
大型语言模型(LLMs)正越来越多地被用作与用户和世界进行交互的代理。要成功实现这一点,LLMs必须构建世界表示并形成关于它们的概率信念。例如,为了提供个性化推荐,LLM需要从用户在多次交互中的行为推断其偏好。贝叶斯推断框架阐述了代理在接收新信息时更新其信念的最优方法。我们首先表明,LLMs远未达到贝叶斯框架所定义的标准。然后我们表明,通过教LLMs模仿规范性贝叶斯模型的预测,我们可以显著提高它们更新信念的能力;这种能力可以泛化到新任务。我们得出结论,LLMs能够有效从示例中学习推理技能,并将这些技能泛化到新领域。LLMs未能以贝叶斯方式更新信念,但可以通过模仿规范性贝叶斯模型来学习这样做。这种训练产生了更好的预测和跨任务的迁移推理技能。
Keyword:
Bayesian inference
probabilistic reasoning
large language models
belief updating
transferable skills
AI总结
对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
15.7
论文数:
9.4W
被引数:
91.2W

