arrow
返回

Bayesian teaching enables probabilistic reasoning in large language models

delete2026-01-07
delete0
delete
OA
AI
L
Linlu Qiu *
F
Fei Sha
K
Kelsey R. Allen
Y
Yoon Kim
T
Tal Linzen *
S
Sjoerd van Steenkiste *
DOI:10.1038/s41467-025-67998-6delete
delete原文链接
delete分享
delete收藏
查看原文
摘要

摘要

En 中文
大型语言模型(LLMs)正越来越多地被用作与用户和世界进行交互的代理。要成功实现这一点,LLMs必须构建世界表示并形成关于它们的概率信念。例如,为了提供个性化推荐,LLM需要从用户在多次交互中的行为推断其偏好。贝叶斯推断框架阐述了代理在接收新信息时更新其信念的最优方法。我们首先表明,LLMs远未达到贝叶斯框架所定义的标准。然后我们表明,通过教LLMs模仿规范性贝叶斯模型的预测,我们可以显著提高它们更新信念的能力;这种能力可以泛化到新任务。我们得出结论,LLMs能够有效从示例中学习推理技能,并将这些技能泛化到新领域。LLMs未能以贝叶斯方式更新信念,但可以通过模仿规范性贝叶斯模型来学习这样做。这种训练产生了更好的预测和跨任务的迁移推理技能。
Keyword:
Bayesian inference
probabilistic reasoning
large language models
belief updating
transferable skills
AI总结

AI总结

对已上传原文的论文进行重点信息的提取,主要内容包括:简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

期刊

Nature Communications 封面图
Nature Communications
IF:
15.7
论文数:
9.4W
被引数:
91.2W

机构

G
Google DeepMind
学者数:
73
论文数: 19
被引数: 0
G
Google Research
学者数:
69
论文数: 15
被引数: 0
M
Meta
学者数:
153
论文数: 40
被引数: 14
M
massachusetts institute of technology
学者数:
4.1K
论文数: 1.5K
被引数: 0
学者 查看更多机构
引用论文

引用论文

Theory-based Bayesian models of inductive learning and reasoning
err2006-07-01
err565
PREAI
errTenenbaum, Joshua B.; Griffiths, Thomas L.; Kemp, Charles
err分享
err收藏
Probabilistic models of language processing and acquisition
err2006-07-01
err227
PREAI
errChater, Nick; Manning, Chrisiopher D.
err分享
err收藏
err分享
err收藏
How to Grow a Mind: Statistics, Structure, and Abstraction如何培养思维: 统计、结构和抽象
errSCIENCE
IF45.8
err2011-03-11
err1.1K
PREAI
errTenenbaum, Joshua B.; Kemp, Charles; Griffiths, Thomas L.; Goodman, Noah D.
err分享
err收藏
Causality in Thought思维中的因果关系
err2015-01-03
err125
errOAAI
errSloman, Steven A.; Lagnado, David
err分享
err收藏
学者 查看更多内容