.png){kind=icon}
返回
Distributed Dynamic Associative Memory via Online Convex Optimization
.png){kind=icon}
PRE
AI
DOI：10.1109/jsac.2026.3739741.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
关联记忆（AM）能够实现提示-响应回忆，并且最近已被公认为现代神经网络架构（如Transformer）背后的关键机制。在本工作中，我们引入了分布式动态关联记忆（DDAM）的概念，该概念将经典AM扩展到多智能体和时间变化数据流的场景。在DDAM中，每个智能体维护一个局部AM，不仅需要存储自身的关联，还需根据指定的兴趣矩阵选择性记忆其他智能体的信息。为解决此问题，我们提出了一种新颖的基于树的分布式在线梯度下降算法，称为DDAM-TOGD，它使每个智能体能够通过在指定路由树上的智能体间通信动态更新其记忆。我们为DDAM-TOGD推导了严格的性能保证，证明了在平稳环境中具有次线性静态遗憾，在非平稳环境中具有路径长度依赖的动态遗憾界限。这些理论结果为通信延迟和网络结构如何影响性能提供了见解。基于遗憾分析，我们进一步引入了一种组合树设计策略，优化路由树以最小化通信延迟，从而改善遗憾界限。数值实验表明，所提出的DDAM-TOGD框架在准确性和鲁棒性方面优于代表性的在线学习基准（如基于共识的分布式优化），证实了所提出方法在动态、分布式环境中的优势。
Keyword:
Associative memory
distributed optimization
online convex optimization
regret analysis
期刊
IF:
17.2
论文数:
6.5K
被引数:
3.1W
机构
引用论文
暂无论文信息