返回
Contrastive learning with large language models for medical code prediction
DOI:10.1016/j.eswa.2025.127241.png)
摘要
En 中文
医学编码预测是分析非结构化电子健康记录(EHRs)的重要方法。这是一种由世界卫生组织(WHO)引入的疾病分类方法,能够将电子病历(EMR)与对应的医学编码关联起来。自动医学编码预测的主要挑战包括临床文本过长和长尾标签分布。先前的研究为医学编码预测设计了预训练语言模型(PLM)。然而,这些方法要么未能解决输入文本长度限制的问题,要么未提出用于改善编码表示以解决长尾标签分布问题的额外方法。在本工作中,我们提出了一种新颖的对比学习框架(CL-LLM)用于医学编码预测。CL-LLM利用大型语言模型(LLM)通过设计提示方法生成同义编码描述,以解决长尾标签分布问题。此外,CL-LLM采用对比学习将同义词注入编码描述编码器中,以增强模型的少样本标签预测能力。为解决输入文本过长的问题,我们使用PLMClinicalBERT作为临床文本编码器,并采用分割池化(split pooling)来分段长输入文本。我们在公开的MIMIC-III和MIMIC-IV数据集上进行了实验。MIMIC III和MIMIC-IV数据集的结果表明,我们的模型在自动ICD编码方面优于先前的方法。我们还进行了消融实验以证明CL-LLM中每个组件的重要性。为进一步验证在稀有标签上的性能,我们在MIMIC-III RARE50数据集上测试了我们的方法,并取得了优异的结果。
Keyword:
International classification of diseases
Automatic ICD coding
Code hierarchy
Contrastive learning
Imbalanced label distribution
期刊
IF:
7.5
论文数:
3.0W
被引数:
10.2W
机构
引用论文
Attention-Aware Encoder-Decoder Neural Networks for Heterogeneous Graphs of Things用于异质事物图的注意力感知编码器-解码器神经网络

