.png){kind=icon}
返回
Multi-modal hypergraph contrastive learning for medical image segmentation
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2025.111544.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
自监督学习（SSL）已成为多模态医学图像分割的主导方法。然而，现有方法（如Seq SSL和Joint SSL）存在灾难性遗忘以及跨模态表示学习中的冲突问题。为解决这些挑战，我们提出了一种两阶段SSL框架HyCon，用于多模态医学图像分割。该框架通过知识蒸馏将Seq和Joint SSL的优势相结合，以对齐跨模态的相似拓扑样本。在第一阶段，通过对抗学习学习跨模态特征。受图基础模型（Graph Foundation Models）启发并进一步适配于我们的任务，随后引入了具有教师-学生架构的超图对比学习网络（HCLN），通过整合超图与对比学习来捕捉跨模态的高阶关系。拓扑混合蒸馏（THD）模块将拓扑信息、上下文特征和关系知识蒸馏到学生模型中。我们在肺部和大脑两个器官上评估了HyCon。我们的框架优于当前最先进的SSL方法，在有限标注数据下实现了分割性能的显著提升。定量和定性实验均验证了我们框架设计的有效性。代码地址：https://github.com/reeive/HyCon。
Keyword:
Multi-modal medical image
Self-supervised learning
Hypergraph learning
Knowledge distillation
期刊
IF:
7.6
论文数:
1.3W
被引数:
4.5W
机构
引用论文
Dual-channel graph contrastive learning for self-supervised graph-level representation learning用于自监督图级表示学习的双通道图对比学习.png)
PATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏Cancer Survival Prediction From Whole Slide Images With Self-Supervised Learning and Slide Consistency基于自监督学习和幻灯片一致性的全幻灯片图像癌症生存预测
PREAI
分享收藏A pH-responsive T1-T2 dual-modal MRI contrast agent for cancer imagingNATURE COMMUNICATIONS
OAAI
NATURE COMMUNICATIONSIF15.7
OAAI分享收藏
GrainBrain: Multiview Identification and Stratification of Defective Grain KernelsGrainBrain：多视角识别与分层缺陷谷物颗粒
PREAI
分享收藏Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks使用循环一致的对抗网络进行不成对的图像到图像的翻译OAAI
OAAI分享收藏Global and local multi-modal feature mutual learning for retinal vessel segmentationPATTERN RECOGNITION
PATTERN RECOGNITIONIF7.6
PREAI
分享收藏
查看更多内容