Multimodal prototype fusion network for paper-cut image classification

Xinsheng Zhang

doi:10.1038/s40494-025-02036-8

2025-09-20

张新胜 (Xinsheng Zhang) *

Ding Chen

Yibing Qin

DOI：10.1038/s40494-025-02036-8

原文链接

查看原文

摘要

En 中文

本文提出了一种多模态原型融合网络（MPFN），用于解决剪纸图像分类中的挑战，包括艺术抽象、数据不平衡和未见类别适应等问题。该框架引入了两种变体：AMPFN，通过跨模态注意力与残差学习动态融合多模态原型；以及IMPFN，一种无需训练即可快速部署的模型。利用CLIP进行特征提取，AMPFN在已知类别上（16-shot）达到90.71%的准确率，而IMPFN在未见类别上（16-shot）无需训练即可达到84.98%的准确率。在剪纸数据集和公开基准（PACS、ArtDL、CUB-200-2011）上的评估表明，本方法优于现有方法。该方案通过n-shot原型缓解数据不平衡问题，并通过预训练特征降低计算成本，在细粒度与抽象艺术分类中表现出鲁棒性。本研究为文化遗产数字化和多模态艺术分析提供了一种可扩展的解决方案。

Keyword:

Multimodal Prototype Fusion Network

Paper-cut Image Classification

Cross-modal Attention

Unseen Category Adaptation

Data Imbalance Mitigation