Uncertainty-aware large language model response length perception

Bin Shi

doi:10.1007/s11432-024-4550-8

Uncertainty-aware large language model response length perception

2025-11-03

0

PRE

AI

DOI：10.1007/s11432-024-4550-8

原文链接

原文求助

摘要

En 中文

近期大型语言模型（LLMs）的进展已革新人工智能领域，但其计算需求给高效部署带来了显著挑战。主要问题在于高效处理多样化的查询响应，这促使需要预测响应长度并优化批处理过程。本文深入分析了LLM响应长度预测任务中的挑战，并提出了一种将此任务视为不确定性感知回归问题的新框架。我们对比了四种不确定性量化方法，包括频率学派和贝叶斯学派的方法，发现证据深度学习（EDL）在此任务上最为有效和高效。此外，我们的案例研究表明，与随机批处理和当前最优方法相比，我们的方法平均将推理时间减少了38.14%和20.50%，展示了不确定性感知的响应长度预测在优化LLM推理方面的潜力。

Keyword:

large language model

uncertainty quantification

response length prediction

Uncertainty-aware large language model response length perception

摘要

期刊

机构

引用论文