.png){kind=icon}
返回
Fully First-Order Methods for DecentralizedBilevel Optimization
.png){kind=icon}
PRE
AI
DOI：10.1109/TSP.2025.3624427.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文聚焦于分布式随机双层优化（DSBO），其中各智能体仅与其邻居进行通信。我们提出了分布式随机梯度下降与上升算法结合梯度跟踪（DSGDA-GT），这是一种仅需一阶或acles的全新算法，而一阶或acles的成本远低于现有工作中广泛采用的二阶或acles。我们进一步提供了有限时间收敛性分析，表明对于$n$个智能体协同解决DSBO问题时，本算法找到$\epsilon$-稳定点的样本复杂度为$\mathcal{O}(n^{-1}\epsilon^{-7})$，这一结果与单智能体情形下具有线性加速比的最佳已知结果相匹配。数值实验验证了本算法在通信和训练效率方面的优势。
Keyword:
Decentralized optimization
stochastic bilevel optimization
fully first-order method
gradient tracking
期刊
I
IF:
5.8
论文数:
355
被引数:
0
机构
引用论文
.png){kind=icon}
分享收藏分享收藏
查看更多内容