A multidimensional Bayesian IRT method for discovering misconceptions from concept test data

Martin Segado

doi:10.3389/fpsyg.2025.1506320

2025-01-29

DOI：10.3389/fpsyg.2025.1506320

原文链接

摘要

En 中文

我们提出了一种探索性方法，用于从选择题概念测试数据中发现可能存在的错误概念，并提供初步证据表明该方法能够从真实学生回答中恢复已知的错误概念。我们的方法基于多维名义类别IRT模型（MNCM）的贝叶斯实现，并结合标准因子分析旋转方法；通过分析学生回答时关注单个干扰项而非整个问题，该方法能够在无需人工标注测试内容的情况下，突出多个可能存在的错误概念以供后续调查。我们探讨了贝叶斯MNCM在合成数据上的性能，发现其在可实现的样本量下能够一致地恢复多维项目参数。这些研究证明了该方法对过拟合的鲁棒性，以及自动进行维度评估和选择的能力。该方法在性能上优于现有的采用边际最大似然估计的IRT软件，后者被我们用作验证基准。随后，我们将该方法应用于约10,000名学生回答的研究设计概念测试——力概念清单（Force Concept Inventory）。除了一个与总测试分数强相关的主要维度外，我们还发现了加载于较小干扰项集合上的十三个额外维度；我们讨论了其中两个作为示例，表明这些维度与牛顿力学中已知的错误概念一致。尽管仍需进一步验证我们的发现，但我们的期望是，该方法未来的应用能够有助于现有概念清单的改进或新清单的开发，使不同学科领域中先前未知的错误概念得以发现，并通过量化特定错误概念的流行程度，为个体和课堂层面的针对性教学提供机会。

Keyword:

item response theory

student misconceptions

multiple-choice questions

distractor analysis

multidimensional nominal categories model

mean-field variational inference

hierarchical priors