arrow
返回

Contrastive learning with large language models for medical code prediction

delete2025-06-01
delete0
PRE
AI
Y
Yuzhou Wu
张
张瑾 (Jin Zhang)
X
Xuechen Chen
X
Xin Yao
陈
陈志刚 (Zhigang Chen) *
DOI:10.1016/j.eswa.2025.127241delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
医学编码预测是分析非结构化电子健康记录(EHRs)的重要方法。这是一种由世界卫生组织(WHO)引入的疾病分类方法,能够将电子病历(EMR)与对应的医学编码关联起来。自动医学编码预测的主要挑战包括临床文本过长和长尾标签分布。先前的研究为医学编码预测设计了预训练语言模型(PLM)。然而,这些方法要么未能解决输入文本长度限制的问题,要么未提出用于改善编码表示以解决长尾标签分布问题的额外方法。在本工作中,我们提出了一种新颖的对比学习框架(CL-LLM)用于医学编码预测。CL-LLM利用大型语言模型(LLM)通过设计提示方法生成同义编码描述,以解决长尾标签分布问题。此外,CL-LLM采用对比学习将同义词注入编码描述编码器中,以增强模型的少样本标签预测能力。为解决输入文本过长的问题,我们使用PLMClinicalBERT作为临床文本编码器,并采用分割池化(split pooling)来分段长输入文本。我们在公开的MIMIC-III和MIMIC-IV数据集上进行了实验。MIMIC III和MIMIC-IV数据集的结果表明,我们的模型在自动ICD编码方面优于先前的方法。我们还进行了消融实验以证明CL-LLM中每个组件的重要性。为进一步验证在稀有标签上的性能,我们在MIMIC-III RARE50数据集上测试了我们的方法,并取得了优异的结果。
Keyword:
International classification of diseases
Automatic ICD coding
Code hierarchy
Contrastive learning
Imbalanced label distribution

期刊

Expert Systems with Applications 封面图
Expert Systems with Applications
IF:
7.5
论文数:
3.0W
被引数:
10.2W

机构

C
changsha univ sci &technol
学者数:
1.1K
论文数: 452
被引数: 2
引用论文

引用论文

err分享
err收藏
err分享
err收藏
JAN: Joint Attention Networks for Automatic ICD Coding
err2022-10-01
err10
PREAI
errWu, Yuzhou; Chen, Zhigang; Yao, Xin; Chen, Xuechen; Zhou, Zeren; Xue, Jinkai
err分享
err收藏
Automated ICD coding using extreme multi-label long text transformer-based models
err2023-10-01
err8
errOAAI
errLiu, Leibo; Perez-Concha, Oscar; Nguyen, Anthony; Bennett, Vicki; Jorm, Louisa
err分享
err收藏
Large language models encode clinical knowledge大型语言模型对临床知识进行编码
err2023-07-12
err0
errOAAI
errKaran Singhal; Shekoofeh Azizi; Tao Tu; S. Sara Mahdavi; Jason Wei; Hyung Won Chung; Nathan Scales; Ajay Tanwani; Heather Cole-Lewis; Stephen Pfohl; Perry Payne; Martin Seneviratne; Paul Gamble; Chris Kelly; Abubakr Babiker; Nathanael Schärli; Aakanksha Chowdhery; Philip Mansfield; Dina Demner-Fushman; Blaise Agüera y Arcas; Dale Webster; Greg S. Corrado; Yossi Matias; Katherine Chou; Juraj Gottweis; Nenad Tomasev; Yun Liu; Alvin Rajkomar; Joelle Barral; Christopher Semturs; Alan Karthikesalingam; Vivek Natarajan
err分享
err收藏
MIMIC-IV, a freely accessible electronic health record datasetMimic-iv,一个可自由访问的电子健康记录数据集
err2023-01-03
err0
errOAAI
errAlistair E. W. Johnson; Lucas Bulgarelli; Lu Shen; Alvin Gayles; Ayad Shammout; Steven Horng; Tom J. Pollard; Sicheng Hao; Benjamin Moody; Brian Gow; Li-wei H. Lehman; Leo A. Celi; Roger G. Mark
err分享
err收藏
学者 查看更多内容