.png){kind=icon}
返回
A Machine Learning Framework for Assessing Experts' Decision Quality
.png){kind=icon}
PRE
AI
DOI：10.1287/mnsc.2021.03357.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
专家工作者做出具有重大影响的非平凡决策。专家的决策准确性因此是其判断质量的一个基本方面，对于专家服务的管理者和消费者都至关重要。然而，在许多重要场景中，专家决策质量的透明度很少能够实现，因为评估专家决策所需的真实数据成本高昂，且仅适用于有限的一组决策。此外，不同专家通常处理排他性的决策集，因此，依赖于对同一实例的多个专家决策进行聚合的先前解决方案在此情况下不适用。我们首先在这种场景下阐述了估计专家决策准确性的问题，然后开发了一个基于机器学习的框架来解决这个问题。我们的方法有效地利用了丰富的工人历史决策数据和稀有的具有真实标签的决策实例。我们使用基于公开数据集的半合成数据和专门编译的真实工人决策数据集，对方法相对于替代方案的性能进行了广泛的实证评估。结果表明，我们的方法在包括不同数据领域、专家质量和真实数据量的各种场景中均优于现有替代方案。据我们所知，本文首次提出并解决了从历史数据中估计专家决策准确性的问题，且真实数据稀缺，同时也是首次为此问题场景提供了全面的结果，确立了不同场景下可达到的性能以及未来工作可以建立的状态性能。
Keyword:
machine learning
worker evaluation
decision accuracy
information systems
期刊
IF:
4.9
论文数:
780
被引数:
5.0W
.png){kind=icon}
查看更多内容