返回
Supervised Neural Topic Modeling with Label Alignment
DOI:10.1162/tacl_a_00738.png)
摘要
En 中文
神经网络主题建模是一种可扩展的文本数据挖掘自动化技术。在主题建模的各类下游任务中,期望发现的主题能够与标签良好对齐。然而,由于缺乏标签的指导,无监督神经网络主题模型在这种情况下能力较弱。现有的监督神经网络主题模型通常采用无标签先验来生成隐含的文档-主题分布,并利用其预测标签,从而间接实现标签-主题对齐。这种机制存在以下问题:1)无标签先验会导致主题混合多个标签的隐含模式;2)无法直观识别标签与发现主题之间的显式关系。为解决这些问题,我们开发了一种新型的监督神经网络主题模型,利用带有标签条件先验的链式结构图模型。引入软指示器以显式构建标签-主题关系。为获得良好的标签-主题关系,我们在嵌入空间上形式化了一个熵正则化的最优运输问题,并将其建模为运输计划。此外,我们提出的方法可以灵活地与大多数现有的无监督神经网络主题模型集成。在多个数据集上的实验结果表明,我们的模型能够在保持良好主题质量的同时显著增强标签与主题之间的对齐。
期刊
T
IF:
6.9
论文数:
486
被引数:
5.7K

