返回
Staged Self-Supervised Learning for Raven Progressive Matrices
DOI:10.1109/TNNLS.2025.3561069.png)
摘要
En 中文
本研究提出并研究了抽象组合变换器(ACTs),这是一类基于变换器蓝图(transformer blueprint)的深度学习(DL)架构,旨在处理需要完成空间视觉模式的抽象推理任务。我们将ACTs与选择决策模块(choice-making modules)结合,并将其应用于拉文渐进矩阵(Raven progressive matrices, RPMs),这是一种需要从可用答案中选择正确图像的逻辑谜题。我们设计了一系列ACT变体,在多种模式下对其进行训练并应用额外的数据增强(augmentations),进行消融研究(ablations),展示其数据可扩展性,并分析其过程行为和产生的潜在表示(latent representations)。通过自监督学习(self-supervision),我们成功地在相对较小的训练集上训练了ACTs,缓解了以往研究中在RPMs中识别出的若干偏差,并在两个最流行的RPM基准测试中取得了SotA(State-of-the-Art)结果。
Keyword:
Artificial intelligence
artificial neural networks
cognitive science
computational and artificial intelligence
cybernetics
deep learning (DL)
learning systems
machine learning
machine intelligence
neural networks
pattern analysis
problem-solving
self-supervised learning
systems
man
and cybernetics
期刊
IF:
8.9
论文数:
7.6K
被引数:
7.2W
机构
暂无机构信息
引用论文
Deep Learning Methods for Abstract Visual Reasoning: A Survey on Raven's Progressive Matrices用于抽象视觉推理的深度学习方法: 对Raven渐进式矩阵的调查

