Self-balancing, Memory Efficient, Dynamic Metric Space Data Maintenance, for Rapid Multi-kernel Estimation

doi:10.1007/978-3-032-06109-6_16

2026-01-01

PRE

Aditya S. Ellendula

Chandrajit Bajaj *

DOI：10.1007/978-3-032-06109-6_16

原文链接

原文求助

摘要

En 中文

我们提出了一种动态自平衡八叉树数据结构，从根本上改变了在演化度量空间中的邻域维护。学习系统，从深度网络到强化学习智能体，作为动力系统运行，其通过高维空间的轨迹需要高效的重要性采样以实现最优收敛。生成模型作为动力系统运行，其潜在表示不能一次性学习，而是在训练过程中顺序生长和演化，需要连续调整空间关系。我们的双参数（K, a）动态八叉树通过提供一种计算结构来应对这一挑战，该结构能够高效组织生成流和查询流（它们在不同时间尺度上运行），通过实现无需完全重建的、对数时间的更新和查询，随着分布的演化。我们在四个关键应用中证明了其有效性：（1）通过启用更大的粒子集并减少计算来加速Stein变分梯度下降；（2）支持实时增量KNN分类，具有对数更新；（3）通过启用高效、增量的语义索引来改进检索增强生成；（4）表明同时维护输入和潜在空间结构可以加速收敛并提高样本效率。在所有应用中，我们的实验结果证实了与标准方法相比，性能呈指数级提升，同时保持准确性。这些改进在高维空间中尤为重要，因为高效邻域维护对于导航复杂的潜在流形至关重要。通过为更新和查询操作提供保证的对数界限，我们的方法使更数据高效的解决方案成为可能，解决了先前计算上难以处理的问题，从而在机器学习中建立了一种新的动态空间关系维护方法。

Keyword:

Dynamic Octree

Neighborhood Maintenance

Importance Sampling

Logarithmic-Time Updates

Incremental KNN Classification

Retrieval-Augmented Generation