Efficient Local Intrinsic Dimensionality Estimation in Evolving Deep Representations

doi:10.1007/978-3-032-06069-3_4

Efficient Local Intrinsic Dimensionality Estimation in Evolving Deep Representations

2026-01-01

0

PRE

AI

DOI：10.1007/978-3-032-06069-3_4

原文链接

原文求助

摘要

En 中文

局部固有维数（LID）为深入了解深度神经网络中单个训练点的行为提供了见解，其应用包括对抗检测、防止自监督学习中的维度坍塌以及识别大型语言模型（LLMs）的不真实响应。在这些场景中，高效的LID估计依赖于小批量（mini-batches）的使用，因为计算潜在空间中的邻域成本高昂。然而，基于训练数据小子集的估计通常反映全局流形结构的维数，而非每个点周围预期的局部分布。本文提出最近距离缓存（NDC）方法，通过复用过去小批量中观察到的最近邻距离来提升LID估计的局部性。该策略面临两大挑战：表示随时间演变，且有限内存无法存储所有历史距离。为此，NDC为每个样本维护紧凑的最近距离缓存，并采用基于窗口的变化检测来丢弃受分布漂移影响的过时样本。我们在两个任务上评估了NDC：一个在合成数据上训练的自动编码器（已知真实LID）和一个在CIFAR-10上训练的ResNet。结果表明，NDC能够捕捉深度表示的局部特性，这些特性无法通过单个小批量估计揭示。

Keyword:

Local Intrinsic Dimensionality

Deep Representations

Nearest Distance Cache

Distributional Drift Detection

Efficient Local Intrinsic Dimensionality Estimation in Evolving Deep Representations

摘要

期刊

机构