返回
Online Distributed Heterogeneous Streaming Feature Selection
DOI:10.1145/3767722.png)
摘要
En 中文
数据在许多领域呈爆炸式增长,并可能以流模式存在。当海量流数据的生成速度远超单个节点的处理速度,且生成的数据需要实时处理时,传统的集中式学习模型在满足效率要求方面面临挑战。因此,在线分布式学习模型应运而生。随着时间的推移,特征可能以分布式和异构的方式从各种来源持续涌现。因此,我们研究了在线分布式异构流特征选择问题,并提出了一种新型框架以解决该问题,命名为DHSFS。该框架包含两个主要组件:子节点流特征选择和全局信息同步。子节点组件采用动态策略选择强相关特征、丢弃无关特征并缓存弱相关特征。在全局信息同步阶段,每个子节点与主节点同步统计信息以动态调整全局阈值。最后,对各子节点选择的特征进行汇总并输出。在16个数据集上的实验表明,DHSFS框架在预测精度和在线流特征选择效率方面均表现优异。

