.png){kind=icon}
返回
Recursive Offloading for LLM Serving in Multi-Tier Networks
.png){kind=icon}
PRE
AI
DOI：10.1109/TMC.2025.3642580.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
异构设备-边缘-云计算基础设施已成为现代电信运营商和广域网（WAN）的支柱，为新兴智能应用提供多级计算支持。随着大型语言模型（LLM）服务的快速普及，在这些多级网络架构中高效协调推理任务并减少通信负担成为关键部署挑战。当前LLM服务范式存在显著局限性：设备端部署因硬件限制仅能支持轻量级LLM，而云中心化部署在高峰期面临资源拥堵和巨大的提示通信开销。级联模型推理虽更适合多级网络，但依赖静态、手动调优的阈值，无法适应动态网络条件或任务复杂度的变化。为应对这些挑战，我们提出RecServe，一种针对多级网络LLM服务的递归卸载框架。RecServe引入任务特定的分层置信度评估机制，根据设备、边缘和云端各级别LLM中推断的任务复杂度指导卸载决策。为在各级间实现智能任务路由，RecServe采用基于滑动窗口的动态卸载策略并结合分位数插值，能够实时追踪历史置信度分布并自适应调整卸载阈值。该设计允许仅在必要时将推理任务递归卸载至更高层级，在优化异构资源利用的同时减少跨级通信且几乎不影响服务质量。理论分析明确了RecServe预期实现通信负担和计算成本降低的特定条件。在八个数据集上的实验表明，RecServe在服务质量和通信效率两方面均优于CasServe，且相比集中式云端服务减少超过50%的通信负担。
Keyword:
Large language models
services computing
task offloading
edge-cloud collaboration
communication efficiency
期刊
IF:
9.2
论文数:
5.9K
被引数:
1.8W
机构
引用论文
Distributed Artificial Intelligence Empowered by End-Edge-Cloud Computing: A Survey端边云计算赋能的分布式人工智能: 一项调查
PREAI
分享收藏分享收藏A Survey on End-Edge-Cloud Orchestrated Network Computing Paradigms: Transparent Computing, Mobile Edge Computing, Fog Computing, and Cloudlet端边云编排网络计算范例调查: 透明计算、移动边缘计算、雾计算和Cloudlet
PREAI
分享收藏Across-Platform Detection of Malicious Cryptocurrency Accounts via Interaction Feature Learning.png)
IF0
PREAI
分享收藏分享收藏Efficient Memory Management for Large Language Model Serving with PagedAttention使用PagedAttention服务的大型语言模型的有效内存管理
OAAI
OAAI分享收藏分享收藏
查看更多内容