.png){kind=icon}
返回
Abnormality-Driven Representation Learning for Radiology Imaging
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-04965-0_2.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
放射学深度学习管道主要采用基于在其他任务上预训练的模型的全端3D网络，随后在当前任务上进行微调。相比之下，病理学等相邻医学领域，由于专注于2D图像，已有效采用基于自监督学习（SSL）的任务无关基础模型，并结合弱监督深度学习（DL）。然而，放射学领域仍缺乏任务无关表示模型，这是由于3D成像的计算和数据需求以及放射学扫描固有的解剖复杂性。为解决这一差距，我们提出了Clear框架，用于3D放射学图像，该框架使用从2D切片中提取的嵌入并结合基于注意力的聚合来高效预测临床终点。作为该框架的一部分，我们介绍了Lecl，一种新颖的方法，用于获取由不同位置CT扫描的2D轴位切片中的异常驱动的视觉表示。具体而言，我们使用三种不同架构训练单域对比学习方法：视觉变换器、视觉状态空间模型和门控卷积神经网络。我们在三个临床任务上评估了我们的方法：肿瘤病变定位、肺部疾病检测和患者分期，并与包括BiomedCLIP在内的四种最先进的基础模型进行了基准测试。我们的发现表明，Clear使用通过Lecl学习的表示，在计算和数据效率方面显著优于现有基础模型。代码可在https://github.com/KatherLab/CLEAR获取。
Keyword:
representation learning
radiology imaging
self-supervised learning
deep learning
clinical prediction
期刊
机构
引用论文
Decoding tumour phenotype by noninvasive imaging using a quantitative radiomics approach使用定量放射组学方法通过无创成像解码肿瘤表型.png)
NATURE COMMUNICATIONS
OAAI
NATURE COMMUNICATIONSIF15.7
OAAI分享收藏From whole-slide image to biomarker prediction: end-to-end weakly supervised deep learning in computational pathology从全切片图像到生物标志物预测: 计算病理学中的端到端弱监督深度学习NATURE PROTOCOLS
NATURE PROTOCOLSIF16
PREAI
分享收藏Foundation Models in Radiology: What, How, Why, and Why Not放射学中的基础模型：是什么、如何做、为什么以及为什么不RADIOLOGY
RADIOLOGYIF15.2
PREAI
分享收藏
Predicting treatment response from longitudinal images using multi-task deep learning使用多任务深度学习从纵向图像预测治疗反应NATURE COMMUNICATIONSOAAI
NATURE COMMUNICATIONSIF15.7
OAAI分享收藏分享收藏Machine-learning-based multiple abnormality prediction with large-scale chest computed tomography volumesMEDICAL IMAGE ANALYSISOAAI
MEDICAL IMAGE ANALYSISIF11.8
OAAI分享收藏Self-supervised learning for medical image classification: a systematic review and implementation guidelinesNPJ DIGITAL MEDICINEOAAI
NPJ DIGITAL MEDICINEIF15.1
OAAI分享收藏
查看更多内容