.png){kind=icon}
返回
DABO: Difficulty-Aware Binary Offloading for Collaborative Large-Small Model Inference
.png){kind=icon}
OA
AI
DOI：10.1109/access.2026.3724635.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
大-小模型协作作为一种新兴的高效语言模型推理范式，在云边智能系统中平衡推理质量与服务效率方面发挥着重要作用。通过结合云端大语言模型（LLMs）的强泛化能力与边缘侧小语言模型（SLMs）的低延迟推理能力，该范式为服务异构语言请求提供了可行方案。然而，现有协作推理方法仍面临关键挑战：将所有请求转发至云端会导致高延迟和不必要的成本，而仅依赖边缘侧SLMs可能降低对困难输入的预测质量。因此，我们提出DABO，一种面向校准的二进制卸载方法用于协作的大-小模型推理。具体而言，边缘侧SLM首先进行轻量级探测推理并生成预测置信度分布。DABO随后通过温度缩放校准置信度，并将其转换为标签空间归一化的难度分数。基于在显式精度约束下选择的模型-任务特定操作阈值，可靠请求由边缘侧SLM本地响应，而不确定请求则选择性升级至云端LLM。大量实验表明，DABO在保持端到端精度竞争力的同时，平均处理83.72%的请求于边缘侧，减少预期校准误差31.08%，并与仅云端推理相比在基于工作站的边缘仿真中降低平均延迟84.24%。
Keyword:
Cloud–edge inference
large-small model collaboration
binary offloading
期刊
IF:
3.6
论文数:
9.8W
被引数:
32.8W
机构
引用论文
A Comprehensive Study on Quantization Techniques for Large Language Models大规模语言模型量化技术综合研究.png)
2024 4th International Conference on Artificial Intelligence, Robotics, and Communication (ICAIRC)
2024 4th International Conference on Artificial Intelligence, Robotics, and Communication (ICAIRC)IF0
PREAI
分享收藏Large Language Models (LLMs) Inference Offloading and Resource Allocation in Cloud-Edge Computing: An Active Inference Approach云边缘计算中的大型语言模型 (llm) 推理卸载和资源分配: 一种主动推理方法
PREAI
分享收藏EdgeProfiler: A Fast Profiling Framework for Lightweight LLMs on Edge Using Analytical ModelEdgeProfiler: 一种基于分析模型用于边缘端轻量级大语言模型快速分析的框架
PREAI
分享收藏Characterizing and Understanding Energy Footprint and Efficiency of Small Language Model on Edges
PREAI
分享收藏The Art of Abstention: Selective Prediction and Error Regularization for Natural Language ProcessingOAAI
OAAI分享收藏Jin, H.P.; Wu, Y.Z. CE-CoLLM: Efficient and Adaptive Large Language Models Through Cloud-Edge Collaboration. In Proceedings of the 32nd IEEE International Conference on Web Services, Helsinki, Finland, 7–12 July 2025; pp. 316–323. [Google Scholar] [CrossRef]金海平; 吴玉珍. CE-CoLLM: 通过云边协作实现高效和自适应的大型语言模型. 第32届IEEE国际网络服务会议论文集, 芬兰赫尔辛基, 2025年7月7—12日, 第316—323页. [Google Scholar] [CrossRef]
IF0
PREAI
分享收藏
查看更多内容