Poisson-Process Topic Model for Integrating Knowledge from Pre-trained Language Models

Morgane Austern

doi:10.1080/01621459.2026.2712002

Poisson-Process Topic Model for Integrating Knowledge from Pre-trained Language Models

2026-07-31

0

PRE

AI

DOI：10.1080/01621459.2026.2712002

原文链接

原文求助

摘要

En 中文

传统主题建模方法应用于词频统计，未考虑词出现的上下文。大型语言模型（LLMs）的最新进展提供了能够捕捉更深语义意义和关系的上下文词嵌入。我们旨在利用此类嵌入改进主题建模。我们使用预训练的LLM将每个文档转换为词嵌入序列。该序列被建模为泊松点过程，其强度测度表示为K个基测度的凸组合，每个基测度对应一个主题。为估计这些主题，我们提出了一种灵活算法，整合了传统主题建模方法，并通过净舍入增强（应用在之前）和核平滑（应用在之后）进行改进。该框架的一个优势是将LLM视为黑箱，无需微调其参数。另一个优势是能够无缝集成任何传统主题建模方法作为插件模块，无需修改。假设每个主题在嵌入空间上具有β-Hölder平滑强度测度，我们确立了方法的收敛速率。我们还提供了最小最大下界，并证明当β≤1时，方法的速率与下界匹配。此外，我们将方法应用于两个真实数据集，提供了其优于先前主题建模方法的证据。

Keyword:

kernel density estimation

minimax analysis

Topic-SCORE

transformer

unmixing

Poisson-Process Topic Model for Integrating Knowledge from Pre-trained Language Models

摘要

期刊

机构

引用论文