.png){kind=icon}
返回
Semantic-Based Evaluation Framework for Topic Models: Integrated Deep Learning and LLM Validation
.png){kind=icon}
PRE
AI
DOI：10.3745/JIPS.04.0365.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
主题建模已从隐含狄利克雷分配（LDA）等统计方法发展到包括BERTopic在内的神经混合模型，这些模型利用来自Transformer的双向编码器表示（BERT）嵌入。然而，传统的统计评估指标忽视了这些神经表示的语义丰富性，限制了模型的评估能力。本文介绍了基于语义的评估指标，利用深度学习嵌入并通过统计比较和基于大型语言模型（LLM）的评估进行验证。本研究评估了三个系统变化主题重叠的合成数据集和一个公开数据集（20 Newsgroups）。对包含45个主题的9,608个合成文档和20 Newsgroups中分层抽取的1,000个文档的分析表明，语义指标相比统计基准实现了更好的区分度。具体而言，语义连贯性表现出38.1%的区分范围，而统计度量仅为5.0%，提高了7.62倍。语义独特性比统计方法高出1.57倍的区分度。语义方法在多样性指标上也保持了稳定的区分质量，相似性水平一致。作为人类判断代理的LLM评估，通过加权三模型集成（平均成对斯皮尔曼rho=0.937）展示了模型间的一致性，并在公开数据集上与语义指标呈正相关（rho=0.632-0.671）。领域特定验证和多语言扩展构成未来工作。
Keyword:
BERT Embeddings
Contemporary Topic Models
Deep Learning
LLM-based Evaluation
Semantic Evaluation
Metrics
