Improving Intent Classification Using Unlabeled Data from Large Corpora

doi:10.3390/math11030769

Improving Intent Classification Using Unlabeled Data from Large Corpora

2023-02-03

0

OA

AI

DOI：10.3390/math11030769

原文链接

原文求助

摘要

En 中文

意图分类是面向对话代理的自然语言理解（NLU）流程中的核心组件。该组件的质量取决于训练数据的质量，然而，在许多对话场景中，数据可能稀缺；在这些场景中会使用数据增强技术。能够泛化到多种数据集的通用数据增强方法极具价值。本文所做的工作围绕两个主要部分展开。首先，我们利用RASA的文本分类能力，探索了不同特征向量对意图分类任务的影响。本工作的第二部分包含一种通用的、利用大规模未标记数据高效增强文本语料库的方法。所提出的方法能够高效挖掘与标准自然语言语料库中现有样本相似的实例。实验结果表明，采用我们的语料库增强方法能够在少样本设置下提升文本分类精度。特别是，当标记样本数量极少（例如仅两个样本）时，精度提升最高可达16%。我们认为，我们的方法对于任何标记训练数据稀缺或获取成本高昂的自然语言处理（NLP）或NLU任务都具有重要意义。最后，我们为未来的研究方向提供了一些见解，该方向旨在将我们提出的方法与半监督学习相结合。

Improving Intent Classification Using Unlabeled Data from Large Corpora

摘要

期刊

机构

引用论文