A Robust Adaptive Clustering Validity Index for Overlapping Data

doi:10.3390/axioms15050366

2026-05-14

PRE

Bin Yan

Juan Zhao *

DOI：10.3390/axioms15050366

原文链接

原文求助

摘要

En 中文

聚类有效性指数(CVIs)作为机器学习中确定最优聚类数量的关键工具。然而，传统CVIs在应对现实数据中普遍存在的复杂特征（如簇间重叠、异常值和密度分布不均）时表现欠佳。为解决此问题，本文提出一种乘积型、自适应且鲁棒的聚类有效性指数，命名为鲁棒自适应(RA)指数。该指数以样本点的核密度函数为基本工具，重构其两个核心组件：在测量簇内紧致度时，引入密度分位数概念，显著增强对异常值的鲁棒性；在测量簇间可分性时，开发了一种基于密度的Jeffrey散度方法，有效表征重叠数据集中的簇间差异。为减轻带宽选择对核密度估计的影响，本研究采用Scott和Silverman的启发式算法等策略，从而实现数据内在分布特征的自适应学习。为验证实验效果，在合成和真实数据集上进行了全面实验。结果表明，相较于在重叠数据集上表现突出的经典指数(CH, DB, SIL, I)，RA指数在轻度至中度重叠、密度分布不均及存在异常值的情况下表现更优。在九个合成数据集中，RA指数正确识别了八个最优聚类数量，成功率达88.89%，优于所有对比指数。在八个规模、维度和结构各异的现实数据集中，RA指数也被证实是五个对比指数中最鲁棒和有效的指标。同时，其在包含严重簇间重叠和异常值的复杂数据集（如S-set4和Iris）上的失败也表明，基于密度的CVIs在面对高重叠和模糊边界的数据结构时存在固有局限。这一发现指明了未来研究方向：从稀疏矩阵视角构建新型CVIs可能是解决此类局限的可行突破路径。

Keyword:

kernel density estimation

Jeffrey divergence

robustness

overlapping clustering