.png){kind=icon}
返回
ContextCache: Context-Aware Semantic Cache for Multi-Turn Queries in Large Language Models
.png){kind=icon}
PRE
AI
DOI：10.14778/3750601.3750679.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
语义缓存通过存储和复用大型语言模型（LLM）的响应，显著降低了计算成本并提高了效率。然而，现有系统主要依赖匹配单个查询，缺乏对多轮对话上下文的认识，导致在不同对话场景下出现相似查询时产生错误的缓存命中。本演示介绍了ContextCache，一种面向多轮对话的上下文感知语义缓存系统。ContextCache采用两阶段检索架构，首先对当前查询执行基于向量的检索以识别潜在匹配项，然后通过自注意力机制整合当前和历史对话表示，实现精确的上下文匹配。对真实对话的评估表明，与现有方法相比，ContextCache提高了精确率和召回率。此外，缓存响应的延迟约为直接调用LLM的十分之一，为LLM对话应用实现了显著的计算成本降低。
期刊
P
IF:
3.3
论文数:
563
被引数:
1.2W
查看更多机构
.png){kind=icon}
