.png){kind=icon}
返回
Game-Based LLM Inference Task Offloading for Edge Computing System
.png){kind=icon}
PRE
AI
DOI：10.1109/TGCN.2026.3676823.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大型语言模型（LLMs），凭借其强大的能力，正在从根本上改变社会。基于云的LLM部署存在缺点，包括延迟、缺乏离线功能和长期成本高昂。基于边缘计算的LLM解决方案通过将推理任务卸载到边缘服务器来解决这些问题。本文提出了并优化了一个LLM推理框架，该框架同时考虑推理时间和预测质量。具体来说，为了应对自私用户的自然倾向以最大化个人效用，我们开发了一种基于博弈论的卸载算法（GOALIT）来优化LLM推理卸载。该方法使分布式用户能够迭代调整其策略并收敛至纳什均衡。与最优树搜索（OT-GAH）相比，所提出的方法将令牌吞吐量提高了27%，并将推理延迟缩短了20%，同时在动态系统负载下保持较低的困惑度。这些发现证实了在资源受限的边缘环境中我们方法的有效性。
Keyword:
Edge computing
LLM inference task offloading
quantization
game theory
期刊
I
IF:
6.7
论文数:
1.4K
被引数:
4.3K
机构
引用论文
Edge-LLM: A Collaborative Framework for Large Language Model Serving in Edge Computing蔡, F.; 袁, D.; 杨, Z.; 崔L. Edge-LLM：边缘计算中大规模语言模型服务的协作框架. 2024年IEEE国际网络服务会议(ICWS)论文集, 中国深圳, 2024年7月7-13日; 第799-809页. [谷歌学术] [CrossRef]
PREAI
分享收藏RouterDC: Query-Based Router by Dual Contrastive Learning for Assembling Large Language ModelsRouterDC：基于双对比学习的查询路由器，用于组装大型语言模型
PREAI
分享收藏AIGC-Driven Real-Time Interactive 4-D Traffic Scene Generation in Vehicular NetworksAIGC驱动的车联网实时交互式4-D交通场景生成.png)
IEEE Network
IEEE NetworkIF6.3
PREAI
分享收藏Chen, Y.; Li, R.; Yu, X.; Zhao, Z.; Zhang, H. Adaptive Layer Splitting for Wireless Large Language Model Inference in Edge Computing: A Model-Based Reinforcement Learning Approach. Front. Inf. Technol. Electron. Eng. 2025, 26, 278–292. [Google Scholar] [CrossRef]陈, Y.; 李, R.; 于, X.; 赵Z.; 张, H. 针对边缘计算中无线大语言模型推理的自适应层拆分：一种基于模型的强化学习方法. 信息科技与电子工程前沿. 2025, 26, 278–292. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏
查看更多内容