WindowKV: Task-adaptive group-wise KV cache window selection for efficient LLM inference

2026-09-04

0

PRE

AI

DOI：10.1016/j.eswa.2026.134291

原文求助

摘要

En 中文

• WindowKV为保持KV一致性选择任务感知的连续语义窗口。 • 一种组内KV索引共享策略降低了开销并提升了效率。 • WindowKV使用12%的KV实现近满性能，并在LongBench和NIAH上表现优异。

Keyword:

Large language model

KV cache compression

Inference efficiency