.png){kind=icon}
返回
AMST: Alternating Multimodal Skip Training
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-06078-5_30.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多模态学习是机器学习众多领域中的一种，其中模型利用各种模态的组合来增强学习效果。然而，模态在数据表示和复杂度上可能存在差异，这可能导致训练过程中的学习不平衡。训练过程中某一模态收敛所需的时间是衡量模态不平衡的关键指标。鉴于收敛率的差异，不同模态在同时训练时（如多模态场景中常见做法）可能会相互干扰对方的学习过程。为减轻这种负面影响，我们提出了交替多模态跳过训练（AMST）方法，该方法针对每种特定模态调整训练频率。这一新颖方法不仅提高了采用融合模态进行学习的传统多模态模型的性能，也增强了分别训练每种模态的交替模型的性能。此外，它还在减少训练时间的同时超越了现有最优模型。
Keyword:
Multimodal Learning
Modality Imbalance
Modality Convergence Rate
Modality Bias
Skip Training
Training Frequency
期刊
机构
引用论文
.png){kind=icon}
分享收藏分享收藏
查看更多内容