.png){kind=icon}
返回
Context-enhanced framework for medical image report generation using multimodal contexts
.png){kind=icon}
PRE
AI
DOI：10.1016/j.knosys.2024.112913.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
随着深度学习技术的不断进步，包括大型语言模型和多媒体模型，其在医疗领域的应用已成为一个广受认可的研究课题。在此背景下，已开发出一系列基于深度学习的自动化系统，旨在从医学影像中生成相应的文本报告。然而，这些现有方法通常仅基于患者的影像生成文本报告，忽略了包含临床信息、诊断结果和医学知识等多元因素的医疗多模态上下文。这一局限性限制了自动生成报告的临床应用。为解决此问题，我们提出了一种新颖的用于医学影像报告生成的Context-Enhanced Framework（上下文增强框架）。我们的方法整合了各种多模态上下文元素，包括但不限于临床文本、医学知识、诊断结果和影像数据，以丰富报告生成过程。我们在两个公开的胸部X光数据集IU-Xray和MIMIC-CXR上对该框架进行了评估，使用了标准的自然语言生成和临床效果指标。结果显示了当前最佳的性能，表明语言质量和临床准确性均得到提升。我们的源代码可在此处获取。
Keyword:
Medical image
Report generation
Multimodal
Context
Large language model
期刊
K
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
Exploring Multilingual Large Language Models for Enhanced TNM Classification of Radiology Report in Lung Cancer Staging探索多语言大型语言模型在肺癌分期中放射报告TNM分类的增强应用.png)
Cancers
OAAI
CancersIF0
OAAI分享收藏Preparing a collection of radiology examinations for distribution and retrieval准备放射学检查的集合以供分发和检索
OAAI
OAAI分享收藏UcUNet: A lightweight and precise medical image segmentation network based on efficient large kernel U-shaped convolutional module designUcUNet: 基于高效大核u型卷积模块设计的轻量级精准医学图像分割网络
PREAI
分享收藏分享收藏Knowledge matters: Chest radiology report generation with general and specific knowledge知识事项: 具有一般和特定知识的胸部放射学报告生成MEDICAL IMAGE ANALYSISOAAI
MEDICAL IMAGE ANALYSISIF11.8
OAAI分享收藏
查看更多内容