A BERT–BiLSTM-based categorical representation learning for mixed-attribute data

doi:10.1007/s11227-026-08354-3

2026-03-07

PRE

DOI：10.1007/s11227-026-08354-3

原文链接

原文求助

摘要

En 中文

通过两阶段分类表示学习（即特征提取和表示学习）将混合属性数据中的分类属性表示为低维紧凑数值向量是一项重要但具有挑战性的任务。大多数现有的分类表示学习方法要么从单一视角提取特征，要么依赖于基于浅层结构的表示学习。前者无法充分捕捉分类数据的特征信息，而后者无法像深度学习那样学习深层特征表示。为解决这些问题，本文提出了一种基于BERT–BiLSTM的分类表示学习方法（BBCR），用于混合属性数据分类。具体而言，在特征提取阶段，从多个不同视角（包括内属性、属性间和属性-类别）全面提取分类值的内在特征。在此阶段，通过使用条件信息熵提取方法和对称不确定性降维方法，缓解了属性间视图中冗余、噪声和高维特征的问题。在表示学习阶段，受自然语言处理中文本表示技术的启发，我们引入基于BERT的深度学习，对上一阶段（即特征提取阶段）获得的多视角特征进行分类表示学习。此外，采用BiLSTM增强长距离分类值之间的交互，最终将分类值表示为低维紧凑数值向量。BBCR的表示学习阶段采用端到端的深度表示学习架构。尽管这会产生一定的计算开销，但其强大的表示能力使其特别适用于高维、大规模和复杂的混合属性数据场景，突显了该方法对高性能计算（HPC）资源的内在需求。在26个具有不同特征的混合属性数据集上的广泛实验表明，与当前最优的基线方法相比，BBCR显著提高了表示性能。

Keyword:

Mixed-attribute data

Representation learning

BERT

Feature extraction

Deep learning