A machine-assisted framework for systematic error analysis in clinical concept extraction

doi:10.1038/s41467-026-77067-1

A machine-assisted framework for systematic error analysis in clinical concept extraction

2026-08-26

0

OA

AI

Hongfang Liu (Hongfang Liu) *

DOI：10.1038/s41467-026-77067-1

原文链接

原文求助

摘要

En 中文

错误分析对于评估和改进临床自然语言处理（NLP）模型至关重要，但目前尚无标准化框架支持临床概念提取的系统错误分析。本文提出MedError框架，该框架由机器辅助、人机协同构成，集成了验证过的错误分类体系、大语言模型（LLM）辅助分类和结构化标注工作流程。MedError基于来自三家机构4227份临床记录中手动整理的1187个独特错误开发而成，涵盖25种错误类型和48个临床概念类别。本文通过三项互补评估表明MedError支持单机构和联邦多机构错误分析：首先，对6个专有和开源LLM的基准测试显示，仅自动化错误分类在缺乏人工参与时不足够；其次，基于MedError的错误反馈将11个认知状态概念的NLP提取性能较无结构化基线提升了34%–62%；第三，在两家独立机构的前瞻性外部验证显示，与专家裁定标注的协议提高了30%（McNemar精确检验，p=0.035，φ=0.38），标注时间减少26%–33%，为实际临床NLP部署提供了系统且实用的框架。MedError框架通过机器辅助的人机协同，提高了临床NLP错误分析的标准性、有效性和效率，支持更透明和值得信赖的模型部署。

A machine-assisted framework for systematic error analysis in clinical concept extraction

摘要

期刊

机构

引用论文