Parametrization of sparse distributed representations for vector data classification

Dilantha Haputhanthri

doi:10.1016/j.neucom.2026.133168

2026-02-27

PRE

Dilantha Haputhanthri

Daswin De Silva *

Evgeny Osipov

Dmitri A. Rachkovskij

Ross W. Gayler

DOI：10.1016/j.neucom.2026.133168

原文链接

摘要

En 中文

随着人工智能（AI）能力在多样化应用场景中需求的不断增长，构建和部署此类模型所需的计算处理能力和内存也产生了相应影响。这一现象促使了从大型AI模型向小型模型以及节能机器学习技术的转变。向量符号架构（VSA）为这一向节能学习过渡提供了有效框架，其通过在高维向量空间中编码和处理数据，特别是VSA中的稀疏分布式表示显著提升了大多数机器学习算法的计算和内存效率。本文研究了VSA中稀疏分布式表示的参数化，用于向量数据分类任务。聚焦于维度和密度，本文探讨了使用稀疏块码（SBC）、稀疏二进制分布式表示（SBDR）以及密集全息约简表示（HRR）编码向量数据的策略。我们采用组合方法对向量数据进行编码，并系统评估参数选择以优化分类性能。通过使用121个UCI分类数据集进行详细参数化实验，我们确定了稀疏分布式表示的关键设计考量。这些实验表明，随着维度的增加，准确率会快速提升并随后趋于饱和。对于SBC，适度的结构化密度表现始终优异：25%的密度实现了最高的平均测试准确率。对于SBDR，中等密度的CDT设置性能最佳，而极端密度会降低性能。在最优设置下，稀疏表示可达到与先进密集方法相当的性能：SBC达到，SBDR达到，以及密集HRR在121个数据集上的平均准确率，为达到与先进VSA方法相当的性能提供了实践指导，凸显了其在高效且可扩展机器学习中的有效性。

Keyword:

Sparse Distributed Representations

Vector Symbolic Architectures

Dimensionality

Density

Vector Data Classification