.png){kind=icon}
返回
Interpretable image complexity modeling via multi-attribute cross-modal learning and cognitive alignment
.png){kind=icon}
PRE
AI
DOI：10.1016/j.patcog.2026.114466.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图像复杂度建模在计算机视觉中仍是一个重大挑战，尤其是在捕捉人类感知的语义丰富性方面。传统上，图像复杂度通过数值评分或排名进行评估。然而，这些方法往往无法充分表征潜在因素或与人类认知过程对齐。为解决这些问题，我们提出了ICA_CLIP（图像复杂度属性CLIP），这是一个将定量回归和定性解释任务相结合的建模框架，以实现图像复杂度的多任务评估。ICA_CLIP通过跨模态交叉注意力机制整合精细粒度的视觉块特征和文本标签嵌入。为实现认知对齐，我们引入了一个多属性对比嵌入空间，能够生成与人类感知复杂度属性对齐的可解释文本。此外，我们引入了ICA4000，一个包含内容、颜色和空间分布三个感知维度的大规模数据集，用于精细粒度的复杂度分析。在IC9600、SAVOIAS和ICA4000上的大量实验表明，ICA_CLIP在复杂度回归方面达到与当前最优方法极具竞争力的结果，同时在属性识别方面取得更优效果。定性分析进一步显示，ICA_CLIP生成的复杂度激活图与人类眼动模式高度一致，为其生物学合理性提供了有力证据。代码和ICA4000数据集可在https://github.com/Yuan-Liu1-dev/ICACLIP/tree/master获取。
Keyword:
Image complexity
Complexity modeling
Interpretable text generation
Cross-modal
