Efficient local intrinsic dimensionality estimation in evolving deep representations

doi:10.1016/j.is.2026.102795

Efficient local intrinsic dimensionality estimation in evolving deep representations

2026-08-28

0

PRE

AI

DOI：10.1016/j.is.2026.102795

原文链接

原文求助

摘要

En 中文

局部固有维数（LID）为深入了解深度神经网络中单个训练点的行为提供了洞见，其应用包括对抗检测、自监督学习中防止维度坍塌以及从大型语言模型（LLMs）中识别不实响应。在这些场景中，高效的LID估计通常依赖于小批量（mini-batches）的使用，因为计算潜在空间中的邻域成本高昂。然而，基于训练数据小子集的估计往往反映的是全局流形结构的维数，而非各点周围预期的局部分布。本文提出最近距离缓存（NDC）方法，通过复用过去小批量中观察到的最近邻距离来提升LID估计的局部性。该策略面临两大挑战：表示随时间演变，且有限内存无法存储所有历史距离。为解决这些问题，NDC为每个样本维护一个紧凑的最近距离缓存，并采用基于窗口的变化检测来丢弃受分布漂移影响的过时样本。我们评估了两种框架变体：一种显式维护滑动窗口内的距离时间历史，另一种基于随机缓存淘汰策略。我们还开发了一种新型参数化统计测试，专门用于检测距离分布下尾的变化，从而更灵敏且高效地检测用于LID估计的距离值漂移。在合成数据和真实数据上的实验表明，通过有效处理时序分布偏移，NDC产生的LID估计质量优于仅依赖小批量内邻域计算的方法，同时仅引入轻微计算开销。

Keyword:

Local intrinsic dimensionality

Deep representations

Nearest distance cache

Distributional drift detection

Efficient local intrinsic dimensionality estimation in evolving deep representations

摘要

期刊

机构