.png){kind=icon}
返回
PGD: Probe Guided Decoding for Alignment
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-04549-2_28.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
对齐大型语言模型（LLMs）与人类偏好被广泛认为是其近期进展的基础性因素。对齐过程通常需要大量标注数据，仅依赖人类标注者收集这些数据既耗时又费力。为缓解这一问题，先前工作引入了“LLM作为裁判”的概念。然而，这种方法存在显著局限性，包括高昂的财务成本、隐私泄露风险、因模型频繁更新导致的可复现性挑战以及专有系统固有的潜在偏见。另一研究方向探讨了使用专有模型（如GPT-4）生成的反馈数据微调开源模型以提升对齐能力。尽管这些方法已证明有效，但通常依赖大规模合成训练数据集。为应对这些挑战，我们提出探针引导解码（PGD）方法，该新颖方法在仅需极少量训练样本和简单线性分类器的情况下提升对齐能力。PGD在多样化设置中持续超越“LLM作为裁判”范式，并在两个公开数据集上显著缓解了不同LLM的潜在偏见。值得注意的是，在JudgeBench基准测试中，PGD仅用10个训练样本便较“LLM作为裁判”实现了11.8%的显著提升。
Keyword:
LLM
LLM-as-judge
probe
guided decoding
期刊
A
IF:
0
论文数:
24
被引数:
0
机构
引用论文
.png){kind=icon}
Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models郑, L., 蒋W.-L., 盛Y., 庄S., 吴Z., 庄Y., 林Z., 李Z., 李D., 星E., 等. (2023). 使用mt-bench和chatbot arena评判LLM-as-a-judge. 神经信息处理系统进展, 36:46595–46623.
PREAI
分享收藏分享收藏 没有更多内容
没有更多内容