.png){kind=icon}
返回
Improving crowdsourcing for AI through cognitive-inspired data engineering
.png){kind=icon}
OA
AI
DOI：10.3758/s13428-026-03160-4.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
众包提供了一种快速且高效的方法来获取人工标注的数据集。然而，众包数据集及其训练的模型可能会继承标注者的认知限制和偏见。在一个我们称之为认知启发的数据工程过程中，我们探讨了认知科学的思想是否可以应用于减轻众包数据集中认知限制和认知偏见的存在，从而提高基于这些数据集训练的模型性能。我们通过在两个实验中使用两个不同的众包平台为医学图像诊断任务进行标签众包来评估我们的方法。在实验1中，我们通过亚马逊机械 Turk 收集新手标注者的主观概率判断；在实验2中，我们通过 DiagnosUs（一个专门从事医学和科学数据标注的众包平台）收集熟练标注者的主观概率判断和二元分类。在两项实验中，我们都发现，校准主观概率判断可以减少偏见，产生更准确的众包数据集和基于这些数据集训练的更准确的模型。我们的结果表明，认知启发的数据工程为提高众包数据集的质量提供了有希望的途径，并为机器学习模型带来一致的有益影响。
Keyword:
Crowdsourcing
Subjective probability judgments
Recalibration
Cognitive biases
Medical image classification
Machine learning training data
期刊
IF:
3.9
论文数:
705
被引数:
3.6W
机构
引用论文
分享收藏
On the calibration of probability judgements. some critical comments and alternative perspectives关于概率判断的校准：一些关键评论和替代视角.png)
IF0
PREAI
分享收藏
查看更多内容