arrow
返回

Supervised Neural Topic Modeling with Label Alignment

delete2025-03-19
delete0
delete
OA
AI
陈
陈睿豪 (Ruihao Chen)
H
Hegang Chen
Y
Yuyin Lu
Y
Yanghui Rao *
C
Chunjiang Zhu *
DOI:10.1162/tacl_a_00738delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
神经网络主题建模是一种可扩展的文本数据挖掘自动化技术。在主题建模的各类下游任务中,期望发现的主题能够与标签良好对齐。然而,由于缺乏标签的指导,无监督神经网络主题模型在这种情况下能力较弱。现有的监督神经网络主题模型通常采用无标签先验来生成隐含的文档-主题分布,并利用其预测标签,从而间接实现标签-主题对齐。这种机制存在以下问题:1)无标签先验会导致主题混合多个标签的隐含模式;2)无法直观识别标签与发现主题之间的显式关系。为解决这些问题,我们开发了一种新型的监督神经网络主题模型,利用带有标签条件先验的链式结构图模型。引入软指示器以显式构建标签-主题关系。为获得良好的标签-主题关系,我们在嵌入空间上形式化了一个熵正则化的最优运输问题,并将其建模为运输计划。此外,我们提出的方法可以灵活地与大多数现有的无监督神经网络主题模型集成。在多个数据集上的实验结果表明,我们的模型能够在保持良好主题质量的同时显著增强标签与主题之间的对齐。

期刊

T
Transactions of the Association for Computational Linguistics
IF:
6.9
论文数:
486
被引数:
5.7K

机构

U
Univ North Carolina Greensboro
学者数:
95
论文数: 62
被引数: 28
引用论文

引用论文

Are Neural Topic Models Broken?
err2022-01-01
err0
errOAAI
errAlexander Miserlis Hoyle; Pranav Goel; Rupak Sarkar; Philip Resnik
err分享
err收藏
err分享
err收藏
err分享
err收藏
Latent Dirichlet Allocation
err2002-11-08
err0
PREAI
errDavid M. Blei; Andrew Y. Ng; Michael I. Jordan
err分享
err收藏
Knowledge-Based Topic Model for Multi-Modal Social Event Analysis
err2020-08-01
err23
PREAI
errXue, Feng; Hong, Richang; He, Xiangnan; Wang, Jianwei; Qian, Shengsheng; Xu, Changsheng
err分享
err收藏
Topic Modeling in Embedding Spaces
err2020-12-01
err359
errOAAI
errDieng, Adji B.; Ruiz, Francisco J. R.; Blei, David M.
err分享
err收藏
学者 查看更多内容