.png){kind=icon}
返回
Interactive Groupwise Comparison for Reinforcement Learning from Human Feedback
.png){kind=icon}
OA
AI
DOI：10.1111/cgf.70290.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
强化学习人类反馈（RLHF）已成为使AI行为与人类偏好对齐的关键使能技术。在RLHF中收集数据的传统方式是通过成对比较：人类评估者被要求指出他们更偏好两个样本中的哪一个。我们提出了一种交互式可视化方法，能更充分地利用人类的视觉能力来比较和探索整个样本组。该界面包含两个关联视图：1）一个探索视图，展示所有采样行为的上下文概览，这些行为按层次聚类结构组织；2）一个比较视图，用于用户查询时显示两组选定的行为。用户可以通过在这两个视图之间迭代，高效地探索大型行为集。此外，我们设计了一种主动学习的方法，用于建议比较组。正如我们在六个模拟机器人任务中的评估所示，我们的方法将最终奖励提高了69.34%，并降低了错误率、改善了策略。我们开源了代码，该代码可以轻松集成到RLHF训练循环中，以支持人类-AI对齐的研究。
Keyword:
interaction
human-computer interfaces,visualisation
visual analytics
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
2.9
论文数:
562
被引数:
1.1W
机构
查看更多机构
.png){kind=icon}
