An audio-visual multimodal adaptive balanced learning method based on gradient modulation

doi:10.1007/s11227-025-07311-w

An audio-visual multimodal adaptive balanced learning method based on gradient modulation

2025-05-04

0

PRE

AI

DOI：10.1007/s11227-025-07311-w

原文链接

原文求助

摘要

En 中文

为解决音频-视觉多模态学习中因异构学习率导致某一模态主导学习过程并抑制其他模态的问题，从而削弱多模态协同决策过程，提出了一种基于梯度调制的多模态自适应平衡学习方法（AGM-CR）。该方法引入调制系数，基于梯度变化动态调整不同模态的学习率。进一步采用梯度平衡策略，将各模态的梯度损失作为正则化项纳入总损失，以缓解梯度差异并平衡学习过程。实验结果表明，AGM-CR在CREMA-D和RAVDESS数据集上的分类准确率分别提升了3.1%和1.3%，并在多次迭代中减少了梯度波动，从而增强了训练稳定性并加速了收敛。此外，AGM-CR是一种即插即用的方法，相比现有平衡方法具有更大的灵活性和通用性。

Keyword:

Balanced learning

Multimodal learning

Gradient modulation

Adaptive learning

An audio-visual multimodal adaptive balanced learning method based on gradient modulation

摘要

期刊

机构