Differentially Private Gradient-Tracking-Based Distributed Stochastic Optimization Over Directed Graphs

doi:10.1109/tac.2026.3678834

Differentially Private Gradient-Tracking-Based Distributed Stochastic Optimization Over Directed Graphs

2026-03-30

0

PRE

AI

DOI：10.1109/tac.2026.3678834

原文链接

原文求助

摘要

En 中文

本文提出了一种基于差分隐私梯度跟踪的分布式随机优化算法，适用于有向图。具体而言，将隐私噪声引入每个代理的状态和跟踪变量以减轻信息泄露，之后将扰动状态和跟踪变量传输给邻居。我们设计了两种新颖的步长和采样数方案。两种方案采用的采样参数控制下的子采样方法增强了差分隐私水平，并确保在无限迭代下隐私预算累积有限。该算法实现了非凸目标函数的几乎必然收敛和均方收敛。此外，当非凸目标函数满足Polyak–Łojasiewicz条件时，方案（S1）实现多项式均方收敛率，方案（S2）实现指数均方收敛率。文中给出了隐私与收敛之间的权衡。通过在基准数据集“MNIST”和“CIFAR-10”上的分布式训练数值示例，展示了算法的有效性及其相较于现有工作的优越性能。

Keyword:

Differential privacy

directed graphs

distributed stochastic optimization

exponential mean square convergence rate

gradient tracking

Differentially Private Gradient-Tracking-Based Distributed Stochastic Optimization Over Directed Graphs

摘要

期刊

机构

引用论文