.png){kind=icon}
返回
Simple Self-Organizing Map With Vision Transformers
.png){kind=icon}
PRE
AI
DOI：10.1109/LSP.2025.3643388.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
视觉 Transformer (ViTs) 在各种视觉任务中表现出卓越的性能。然而，由于它们固有的归纳偏置不足，它们在小数据集上表现较差。当前的方法通过隐式方式解决这一局限性——通常通过将 ViTs 与预文本任务配对，或从卷积神经网络 (CNNs) 中蒸馏知识以强化先验。相比之下，自组织映射 (SOMs) 作为一种广泛采用的自监督框架，其固有结构旨在保持拓扑和空间组织，使其成为直接解决 ViTs 在有限或小训练数据集上局限性的有前景的候选方案。尽管存在这种潜力，但将 SOMs 与现代深度学习架构相结合的研究仍 largely unexplored。本研究对视觉 Transformer (ViTs) 和自组织映射 (SOMs) 如何相互赋能进行了新颖的探索，旨在弥合这一关键研究空白。我们的发现表明，这些架构可以协同增强彼此，从而在无监督和监督任务中显著提升性能。
Keyword:
Unsupervised learning
self-organizing map
vision transformers
期刊
I
IF:
3.9
论文数:
847
被引数:
0
机构
引用论文
分享收藏Implementing in-situ self-organizing maps with memristor crossbar arrays for data mining and optimization.png)
NATURE COMMUNICATIONS
OAAI
NATURE COMMUNICATIONSIF15.7
OAAI分享收藏
查看更多内容