.png){kind=icon}
返回
Enhancing progressive ensemble learning via normalized extra-Gradient initialization
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neunet.2026.108733.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
随着深度学习模型规模的扩大，其对计算资源的需求持续显著增加。渐进式训练作为一种在训练过程中逐步扩大模型的方法，提供了有效的解决方案。其中，渐进式集成学习是最受欢迎的应用之一，该方法以分阶段的方式训练模型集成。为了提高渐进式集成学习的效率，曾提出一种复制初始化方法，通过复制早期模型的参数来初始化新增模块。然而，复制初始化会破坏训练的稳定性，且鲜有研究基于学习理论设计新颖的初始化方法。为填补这一空白，我们将渐进式集成学习表述为一个函数优化问题。基于这一理论框架，我们引入归一化额外梯度（NEG）初始化方法，旨在提升渐进式集成学习的性能。我们提供了严谨的理论见解，包括收敛性保证和稳定性边缘分析，这些解释了NEG初始化如何同时提升训练效率和稳定性。为验证我们方法的优势，我们在合成数据上进行了概念验证实验，并将渐进式集成学习应用于ImageNet-200和ImageNet-1K上的Vision Transformer（ViT）模型。大量的实验结果凸显了我们的方法相较于基线的优势，并强调了其广泛适用性。
Keyword:
progressive ensemble learning
normalized extra-gradient initialization
deep learning
model training
functional optimization
期刊
IF:
6.3
论文数:
8.2K
被引数:
3.0W
机构
引用论文
Self-supervised anomaly detection in computer vision and beyond: A survey and outlook计算机视觉及以后的自监督异常检测: 综述和展望.png)
NEURAL NETWORKS
OAAI
NEURAL NETWORKSIF6.3
OAAI分享收藏SNN-BERT: Training-efficient Spiking Neural Networks for energy-efficient BERTSnn-bert: 用于节能BERT的训练高效尖峰神经网络NEURAL NETWORKS
NEURAL NETWORKSIF6.3
PREAI
分享收藏Progressive fine-to-coarse reconstruction for accurate low-bit post-training quantization in vision transformers渐进式由精到粗的重建方法，用于视觉Transformer中精确的低比特后训练量化NEURAL NETWORKS
NEURAL NETWORKSIF6.3
PREAI
分享收藏Advances in artificial intelligence for olfaction and gustation: a comprehensive review人工智能在嗅觉和味觉领域的进展：一项综合综述OAAI
OAAI分享收藏Extragradient and extrapolation methods with generalized Bregman distances for saddle point problems广义Bregman距离的松驰梯度法与外推法在鞍点问题中的应用
PREAI
分享收藏
查看更多内容