.png){kind=icon}
返回
Parse Trees Guided LLM Prompt Compression
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2025.3609956.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
为大型语言模型（LLMs）提供丰富的上下文已被证明能够提升各种任务的表现，但由此产生的较长提示会增加计算成本，并可能超出LLMs的输入限制。近期，一些提示压缩方法被提出，通过使用语言模型生成更短的提示，或通过开发计算模型选择原始提示中的重要部分来缩短提示长度。生成式压缩方法会遭遇如幻觉等问题，而选择性压缩方法未涉及语言学规则，且忽视了提示的全局结构。为此，我们提出了一种名为PartPrompt的新型选择性压缩方法。该方法首先基于语言学规则为每个句子获取解析树，并计算解析树中每个节点的局部信息熵。随后，这些局部解析树根据句子、段落和章节之间的依赖等层级结构组织成全局树。之后，提出了根向传播和叶向传播以调整全局树上的节点值。最后，开发了一种递归算法，根据调整后的节点值对全局树进行剪枝。实验表明，PartPrompt在各类数据集、指标、压缩比和目标LLMs的推理任务中均取得了最先进的表现。深入的消融研究证实了PartPrompt设计中各部分的效能，其他附加实验也展示了其在压缩提示的连贯性以及在极端长提示场景下的优越性。
Keyword:
Large language models
prompt compression
parse trees
prompt structure
text pattern analysis
期刊
IF:
18.6
论文数:
864
被引数:
9.8W
机构
引用论文
.png){kind=icon}
分享收藏Rhetorical Structure Theory: Toward a functional theory of text organization修辞结构理论: 走向语篇组织的功能理论
PREAI
分享收藏
查看更多内容