返回
Diffusion-driven multi-modality medical image fusion
DOI:10.1007/s11517-025-03300-6.png)
摘要
En 中文
多模态医学图像融合(MMIF)技术利用不同模态的互补性,为临床实践提供更全面的诊断见解。现有的基于深度学习的方法通常专注于从单一模态中提取主要信息,而忽略了不同模态间信息分布的相关性,这导致图像细节和颜色信息的融合不足。为解决此问题,提出了一种扩散驱动的MMIF方法,用以利用多模态图像在潜在空间中的信息分布关系。为更好地保留不同模态的互补信息,建议采用一种局部与全局网络(LAGN)。此外,设计了一种损失策略,用于在扩散生成的图像、原始图像和融合图像之间建立稳健约束。该策略监督训练过程并防止融合图像中的信息损失。实验结果表明,所提出的方法在三个数据集(MRI/CT、MRI/PET和MRI/SPECT图像)上的无监督指标方面超越了当前最优的图像融合方法。所提出的方法成功捕捉了丰富的细节和颜色信息。此外,邀请了16名医生和医学生评估了该方法在辅助临床诊断和治疗中的有效性。
Keyword:
Medical image fusion
Diffusion
Local and global fusion
Deep learning
期刊
M
IF:
2.6
论文数:
311
被引数:
7.7K
机构
引用论文
Forming optimal projection images from intra-retinal layers using curvelet-based image fusion method利用基于曲波(Curvelet)的图像融合方法,从视网膜内层形成最优投影图像
CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image FusionCDDFuse: 相关驱动的双分支特征分解在多模态图像融合中的应用
Dif-Fusion: Toward High Color Fidelity in Infrared and Visible Image Fusion With Diffusion ModelsDif融合: 在具有扩散模型的红外和可见光图像融合中实现高色彩保真度
Improving medical image fusion method using fuzzy entropy and nonsubsampling contourlet transform基于模糊熵和非下采样contourlet变换的医学图像融合改进方法

