Text-Image Co-Alignment for Weakly Supervised Polyp Segmentation

Wenhui Huang

doi:10.1109/TMI.2026.3674592

Text-Image Co-Alignment for Weakly Supervised Polyp Segmentation

2026-03-17

0

PRE

AI

DOI：10.1109/TMI.2026.3674592

原文链接

原文求助

摘要

En 中文

完全监督的息肉分割依赖于昂贵的像素级标注。尽管半监督和弱监督方法减少了标注需求，但它们仍然依赖于部分掩码监督。文本监督分割是一种有前景的替代方法；然而，对于息肉而言，关键挑战是在杂乱背景和显著外观变化下将实例特定的短语定位到正确的病变区域。现有方法通常依赖粗略的文本-图像对齐，限制了精确的区域级语义对应。在本文中，我们提出了文本-图像协同对齐（TICoA），一种用于息肉分割的文本监督框架。TICoA利用大型语言模型（LLMs）生成的结构化临床描述作为弱监督，并将分割表述为细粒度的短语-区域协同对齐问题。通过对比学习，TICoA将查询短语明确关联到相应的图像区域，以在弱监督下实现鲁棒的语义定位。在架构上，我们采用状态空间模型（Mamba）来高效建模长距离依赖关系，具有线性计算复杂度。为了支持有效的跨模态交互，我们进一步设计了一个专用的Mamba融合模块，采用双向融合（BiDF）策略，该策略沿空间和通道维度逐步传播信息。在息肉数据集上的实验，并在皮肤病变分割上的额外验证，表明TICoA与最先进的弱监督方法具有竞争力。我们的代码和数据可在https://github.com/silentyuchen/TICoA获取。

Keyword:

Polyp segmentation

weakly supervised learning

text-supervised segmentation

vision–language alignment

contrastive learning

state-space models

Mamba

medical image analysis

Text-Image Co-Alignment for Weakly Supervised Polyp Segmentation

摘要

期刊

机构

引用论文