Supervised Feature Selection Method Using Stackable Attention Networks

Chen Zhu

doi:10.3390/math13223703

Supervised Feature Selection Method Using Stackable Attention Networks

2025-11-18

0

PRE

AI

DOI：10.3390/math13223703

原文链接

原文求助

摘要

En 中文

主流基于DNN的特征选择方法采用相似的设计策略：使用一个专门设计的特征选择模块，在学习过程中与模型训练一起学习特征的重要性。虽然这些方法在特征选择上取得了巨大成功，但其浅层结构仅从一个角度评估特征重要性，容易被噪声样本干扰，尤其是在高维特征和复杂结构的 datasets 中。为缓解此限制，本文创新性地引入了一种用于特征选择的堆叠注意力架构（SAFS），它通过一组堆叠注意力块（SABlocks）而非单一模块计算稳定且准确的特征权重。为避免堆叠过程中的信息损失，设计了一种特征跳跃拼接结构。此外，提出了一种基于惯性的权重更新方法，以生成更鲁棒的特征权重分布。在包括多个领域的十二个真实数据集上的实验表明，SAFS取得了最佳结果，相比十三种基线方法具有显著的性能优势。

Keyword:

feature selection

supervised learning

attention networks

Supervised Feature Selection Method Using Stackable Attention Networks

摘要

期刊

机构