Hierarchical Fusion Multi-Instance Learning for Weakly Supervised Pathological Image Classification

Chen, Xiaohe

doi:10.11999/JEIT250726

Hierarchical Fusion Multi-Instance Learning for Weakly Supervised Pathological Image Classification

2026-03-01

0

PRE

AI

DOI：10.11999/JEIT250726

原文链接

原文求助

摘要

En 中文

中国癌症死亡率持续上升，病理图像分类已成为诊断的核心。病理图像具有多级结构，但许多现有方法仅关注最高分辨率或使用简单的特征拼接进行多尺度融合，未能有效利用层次信息。此外，大多数方法依赖随机伪包划分处理高分辨率图像。由于阳性载玻片中的癌变区域稀疏，随机采样常产生错误的伪标签和低信噪比，降低分类精度。本研究提出一种层次融合多实例学习（HFMIL）方法，整合多级特征融合与基于注意力评估函数的伪包划分策略，以提高病理图像分类的精度和可解释性。方法提出一种弱监督多级分类方法，利用病理图像的层次特性提升癌症图像分类性能。该方法包括三个主要步骤：首先提取多级特征，去除空白区域，将低分辨率图像分割为图像块，并索引到对应的高分辨率区域。语义特征捕捉低分辨率组织结构和高清分辨率细胞细节。其次，利用基于注意力的评估函数构建伪包。通过类激活映射计算图像块级得分，排序后选择高得分图像块作为潜在阳性样本，丢弃低得分图像块以保持伪标签相关性。通过索引映射生成高分辨率伪包，减少错误伪标签并提高信噪比。最后，开发两阶段分类模型。低分辨率伪包通过门控注意力机制聚合进行初步分类，随后通过交叉注意力机制融合最具信息量的低分辨率特征及其对应的高分辨率特征。融合表示与聚合的高分辨率伪包拼接，形成图像级特征向量用于最终预测。训练采用两阶段损失函数，结合低分辨率和整体交叉熵损失。在三个病理图像数据集上的实验验证了该方法在弱监督设置中的有效性。结果与讨论将提出的方法与多种近期弱监督分类方法（包括ABMIL、CLAM、TransMIL和DTFD）在三个病理图像数据集（公开的Camelyon16和TCGA-LUNG数据集及私有皮肤癌数据集NBU-Skin）上进行比较。结果显示性能显著提升。在Camelyon16上，方法达到88.3%的准确率和0.979的AUC（表2）；在TCGA-LUNG上，准确率达86.0%，AUC为0.931（表2），优于对比方法；在NBU-Skin数据集上，多分类任务准确率达90.5%，AUC为0.976（表2）。消融研究进一步考察多级特征融合和伪包划分模块的必要性。模块组合提升了分类性能。在皮肤癌数据集上，移除伪包划分模块将准确率从93.8%降至90.7%，移除多级特征融合模块进一步降至80.0%（表3）。结果表明各组件均对方法有效性有贡献。结论提出一种整合多级特征融合和基于注意力伪包划分策略的弱监督病理图像分类方法。该方法有效利用层次信息，减少错误伪标签和低信噪比带来的误差。实验显示三个数据集上的准确率和AUC均有显著提升。主要贡献包括：（1）一种多级特征提取与融合策略，通过交叉注意力机制跨尺度组合特征；（2）基于注意力的伪包划分方法，通过top-k策略识别潜在阳性区域并提高伪标签正确性，同时降低背景噪声；（3）相较于近期弱监督分类器表现出更优性能。未来工作可优化跨级注意力机制，扩展框架至预后预测或病灶分割，并开发更高效的特征提取与融合模块以供更广泛的临床应用。

Keyword:

Pathological image

Multiple instance learning

Deep learning

Artificial intelligence

Hierarchical Fusion Multi-Instance Learning for Weakly Supervised Pathological Image Classification

摘要

期刊

机构

引用论文