返回
Per-Flow Quantile Estimation Using M4 Framework
DOI:10.1109/TKDE.2025.3573812.png)
摘要
En 中文
本文介绍了一种新颖的框架M4,旨在精确估计数据流中的每流分位数。M4是一种通用框架,可以与各种单流分位数估计算法集成,从而使其能够执行每流估计。该框架采用基于草图的方法,提供一种空间高效的方法来记录和提取分布信息。M4采用了两种技术:MINIMUM和SUM。 MINIMUM技术最小化由哈希冲突引起的其他流对某一流造成的噪声,而SUM技术则根据流的大小高效地对流进行分类,并相应地定制处理策略。我们展示了M4在三种单流分位数估计算法(DDSketch、$t$-digest和ReqSketch)中的应用,并详细说明了MINIMUM和SUM技术的具体实现。我们提供了理论证明,M4在利用有限内存的同时能实现高精度。此外,我们还进行了广泛的实验来评估M4在精度和速度方面的性能。实验结果表明,在所有三个示例算法中,M4在每流分位数估计的精度方面显著优于两个比较框架,同时保持了相当的速度。
Keyword:
Per-flow
quantile estimation
data streams
期刊
IF:
10.4
论文数:
6.9K
被引数:
3.2W

