.png){kind=icon}
返回
Human-Algorithm Collaborative Truth Inference in Crowdsourcing
.png){kind=icon}
PRE
AI
DOI：10.1287/ijoc.2023.0440.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
众包已成为收集大规模、高质量标注数据的关键策略，特别是在由人工智能驱动的数据密集型应用中。为聚合嘈杂的众包努力，许多研究考虑基于嘈杂的人类标注学习预测算法，并随后将学到的知识整合回数据聚合过程。然而，如何设计能够最大化人类和算法互补优势的混合系统尚不明确。为应对这一问题，我们分析了人类和算法智能的模式，并提出算法的归纳偏置可以有效缓解人类标注的不一致性，从而补充人类努力。基于此前提，我们提出了一种人-算法协作框架（HAC），用于结合人类标签与算法预测。通过提出一个名为混合互补性得分（HCS）的指标来量化人-算法互补性，我们的框架能够根据各算法的互补性动态调整其权重，显著提升人-算法整合的整体效能。为验证我们框架的有效性，我们首先通过包括基于聚类感知设计归纳偏置的高互补性算法在内的多种算法实例化该框架。随后，我们在八个现实任务中将其与领先基线进行比较。我们的结果不仅证明了所提框架的优越性能，也验证了其在不同算法选择（如算法类型和数量）和超参数配置下的鲁棒性。本研究不仅为众包中的真值推断提供了一种可行且有效的解决方案，也为蓬勃发展的算法-人类协作社区做出了贡献。
Keyword:
learning from crowds
human-algorithm collaboration
complementarity
balancing
期刊
I
IF:
2.1
论文数:
90
被引数:
3.2K
机构
暂无机构信息
引用论文
分享收藏分享收藏Beyond confusion matrix: learning from multiple annotators with awareness of instance features.png)
MACHINE LEARNING
OAAI
MACHINE LEARNINGIF2.9
OAAI分享收藏
查看更多内容