.png){kind=icon}
返回
Pareto Multi-objective Alignment for Language Models
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-06078-5_15.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大语言模型（LLMs）越来越多地部署在需要仔细平衡多个（通常相互冲突）目标的真实应用中，例如信息性与简洁性之间的权衡，或有用性与创造性之间的权衡。然而，当前的微调方法主要基于基于人类反馈的强化学习（RLHF），将LLMs优化为单一奖励函数，导致行为僵化，无法捕捉人类偏好的复杂性和多样性。这种局限性阻碍了LLMs对实际场景的适应性，使得多目标对齐（MOA）成为一个关键但研究不足的领域。为弥合这一差距，我们提出了PAreto多目标对齐（PAMA），一种针对LLMs中MOA的原理清晰且计算高效算法。与计算上不可行的基于梯度的多目标优化（MOO）方法不同，PAMA将多目标RLHF转化为一个具有封闭形式解的凸优化问题，显著提升了可扩展性。传统的基于梯度的MOO方法受限于O(n²d)的复杂度，其中d表示模型参数数量（对于LLMs通常达数十亿），使得直接优化不可行。PAMA将此复杂度降低至O(n)（n为目标数量），使优化可在毫秒内完成。我们提供了理论保证，证明PAMA收敛至帕累托稳定点，在该点上无法在不损害至少一个其他目标的情况下改进任一目标。在从1.25亿到70亿参数范围的语言模型上的广泛实验表明，PAMA具有稳健且有效的多目标对齐能力，一致优于基线方法，与其理论优势相符。PAMA为先前被认为难以处理的MOA问题提供了高效解决方案，为将LLMs与多样化人类价值观对齐提供了实用且理论严谨的方法，为多功能、可适应的现实世界AI部署铺平了道路。
Keyword:
Language Models
Multi-objective Alignment
.png){kind=icon}
没有更多内容