.png){kind=icon}
返回
Deep Semantics Analysis for Scale Development: Replicating Psychometrics Validation Process with Large Language Models
.png){kind=icon}
OA
AI
DOI：10.3390/bs16081338.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本研究探讨了大型语言模型（LLM）嵌入是否能近似新开发心理量表的心理学测量学验证过程。以学业压力量表（APDS）作为案例研究，我们将传统上应用于人类反应数据的完整验证流程，通过将探索性因素分析（EFA）和验证性因素分析（CFA）应用于从LLM嵌入中得出的语义相似性矩阵进行复现。我们首先计算了所有58个APDS项目的余弦相似度，并发现其与参与者的相关矩阵具有中等强度的对应关系（ρ = 0.57）。对基于嵌入的相似性矩阵进行的EFA产生了一个六因素解决方案，解释了79.1%的方差。表现最佳模型（32个条目，载荷截断值 = 0.70）在测试参与者反应时表现出可接受的模型拟合度（CFI = 0.88；TLI = 0.87；RMSEA = 0.07–0.08；SRMR = 0.06），数值上与基于367名参与者反应的原始人类验证获得的拟合度相当。信度估计值对大多数因素（ω/α = 0.82–0.95）均令人满意，尽管一个因素的内部一致性较低。人类衍生结构与嵌入衍生结构之间的重叠比例表明整体结构对应度为64%，因素层面的重叠率在50%至100%之间。虽然嵌入再现了学业压力的大部分维度，但未能恢复士气低落因素，反而引入了一个额外的行为集群。这些发现表明，LLM嵌入可以捕捉心理构念潜在结构的实质性方面，并支持早期、低数据、嵌入优先的量表开发。我们提出一个语言有效性流程作为方法论框架，以将语义嵌入整合到心理学测量学验证程序中，强调其作为人类中心评估补充工具的潜力。
Keyword:
construct validity
semantic–psychometric convergence
natural language processing
scale development
Academic Psychological Distress
期刊
B
IF:
2.5
论文数:
3.5K
被引数:
7.4K
机构
引用论文
SEMbeddings: how to evaluate model misfit before data collection using large-language models嵌入：如何利用大型语言模型在数据收集前评估模型失配OAAI
OAAI分享收藏Semantic analysis of test items through large language model embeddings predicts a-priori factorial structure of personality tests通过大型语言模型嵌入对测试项目进行语义分析，预测人格测试的事前因子结构
PREAI
分享收藏Language-based EMA assessments help understand problematic alcohol consumption基于语言的EMA评估有助于理解问题性酒精消费.png)
PLOS ONEOAAI
PLOS ONEIF0
OAAI分享收藏Natural language analyzed with AI-based transformers predict traditional subjective well-being measures approaching the theoretical upper limits in accuracySCIENTIFIC REPORTS
OAAI
SCIENTIFIC REPORTSIF3.9
OAAI分享收藏Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives协方差结构分析中拟合指数的截止标准: 常规标准与新替代
PREAI
分享收藏
查看更多内容