arrow
返回

Robust Decentralized Learning With Local Updates and Gradient Tracking

delete
delete0
delete
OA
AI
S
Sajjad Ghiasvand
A
Amirhossein Reisizadeh
M
Mahnoosh Alizadeh
R
Ramtin Pedarsani
DOI:10.1109/TON.2025.3552423delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
随着联邦学习、物联网(IoT)和边缘计算等分布式学习应用的发展,从理论角度解决此类技术的不足至关重要。作为一种抽象,我们考虑在通信客户端或节点网络上进行去中心化学习,并解决两大主要挑战:数据异质性和对抗鲁棒性。我们提出一种去中心化极小极大优化方法,该方法采用两个重要模块:本地更新和梯度跟踪。极小极大优化是确保鲁棒性的对抗训练的关键工具。在联邦学习(FL)应用中实现本地更新对于缓解通信瓶颈至关重要,而利用梯度跟踪对于证明数据异质性情况下的收敛性至关重要。我们分析了所提算法Dec-FedTrack在非凸强凹极小极大优化情况下的性能,并证明其收敛于一个平稳点。我们还进行了数值实验以支持我们的理论发现。
Keyword:
Decentralized learning
robust federated learning
universal adversarial perturbation
gradient tracking
local updates

期刊

I
IEEE Transactions on Networking
IF:
0
论文数:
551
被引数:
0

机构

M
Massachusetts Institute of Technology
学者数:
2.4K
论文数: 1.1K
被引数: 8
引用论文

引用论文

err分享
err收藏
Decentralized gradient tracking with local steps
err2024-03-14
err0
errOAAI
errYue Liu; Tao Lin; Anastasia Koloskova; Sebastian U. Stich
err分享
err收藏
On the Performance of Gradient Tracking with Local Updates
err2023-12-13
err0
errOAAI
errEdward Duc Hien Nguyen; Sulaiman A. Alghunaim; Kun Yuan; César A. Uribe
err分享
err收藏
Universal Adversarial Training
err2020-04-03
err0
errOAAI
errAli Shafahi; Mahyar Najibi; Zheng Xu; John Dickerson; Larry S. Davis; Tom Goldstein
err分享
err收藏
学者 查看更多内容