A Dual-Path Self-Supervised Framework for Polyp Segmentation Using Vision Transformers and CNNs

P. Lijin

doi:10.1109/ACCESS.2025.3610453

A Dual-Path Self-Supervised Framework for Polyp Segmentation Using Vision Transformers and CNNs

2025-01-01

0

OA

AI

DOI：10.1109/ACCESS.2025.3610453

原文链接

原文求助

摘要

En 中文

在医学图像分析领域，由于标注训练数据的有限可用性，精确的腺瘤分割仍然是一个重大挑战。本文介绍了一种新颖的方法，通过利用结合深度监督和双路径架构的视觉Transformer（ViTs）和卷积神经网络（CNNs）的自监督学习框架来解决这一问题。我们提出的模型包含两条路径：路径1采用视觉Transformer模块，初始阶段利用预训练骨干网络，后续阶段进一步细化这些特征。路径2通过Barlow Twins方法引入自监督学习以捕捉全局上下文，随后通过ResNet模块和注意力增强卷积模块提取并增强局部特征。两条路径的输出通过交叉注意力模块融合，连接后通过多个多层感知器（MLP）头部处理。为提高分割精度，在多个解码器阶段应用深度监督，利用来自MobileNetV2骨干网络的跳跃连接。此外，我们利用改进的深度卷积生成对抗网络（DCGAN）生成合成腺瘤图像，用于Barlow Twins预训练。实验结果表明，我们的方法在腺瘤分割方面优于现有方法，在挑战性场景中实现了更高的精度和鲁棒性。具体而言，我们的模型达到平均Dice分数为94%，平均交并比（IoU）为89%，显著超越了当前最先进的方法。

Keyword:

Barlow twins

convolutional neural networks (CNN)

deep convolutional generative adversarial network

polyp segmentation

self-supervised learning

A Dual-Path Self-Supervised Framework for Polyp Segmentation Using Vision Transformers and CNNs

摘要

期刊

机构

引用论文