.png){kind=icon}
返回
Multi-Agent Transformer-Based Workload Allocation and Worker Selection in Distributed Coded Machine Learning
.png){kind=icon}
PRE
AI
DOI：10.1109/TCCN.2025.3614383.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
机器学习（ML）已被广泛应用于各种应用场景。近年来，机器学习模型日益增长的复杂性导致了对计算资源的大量需求。分布式机器学习（DML）框架通过在多个设备上并行化计算来解决这一挑战。然而，DML系统常常受到“滞后效应”的影响，即最慢的设备会延迟任务的完成。分布式编码机器学习（DCML）通过向子任务中注入冗余来缓解这一问题，使得部分结果足以完成整体任务。为了充分利用DCML，必须有效解决两个关键问题，即工作节点选择和计算任务分配，尤其是在具有不稳定连接性、动态设备可用性和高维决策空间的典型大规模边缘网络中。本研究中，我们提出了一种基于多智能体Transformer的工作任务分配与工作节点选择（MAT-AS）方案，用于大规模边缘网络中的DCML。在技术层面，MAT-AS将多智能体联合策略优化问题转化为一个序列化过程，以对工作节点选择和计算任务分配做出稳健决策。实验结果表明，MAT-AS在任务完成时间和成本效率方面显著优于基线方法，使其成为高效且自适应DCML的潜在解决方案。具体而言，与最佳基线方法相比，MAT-AS将任务完成时间减少了约12%，计算成本降低了约15%。
Keyword:
Distributed coded machine learning
workload allocation
worker selection
multi-agent learning
transformer
期刊
I
IF:
7
论文数:
1.6K
被引数:
5.5K
机构
引用论文
.png){kind=icon}
分享收藏Efficient Memory Management for Large Language Model Serving with PagedAttention使用PagedAttention服务的大型语言模型的有效内存管理
OAAI
OAAI分享收藏
查看更多内容