返回
A Distributed Learned Hash Table
DOI:10.1109/TON.2026.3664088.png)
摘要
En 中文
分布式哈希表(DHTs)在构建于分布式网络系统上的众多关键值应用中具有关键作用,它们提供了一种避免单点故障并提高数据可用性的去中心化架构。尽管其应用广泛,DHTs在处理范围查询方面仍面临重大挑战,而范围查询对于LLM serving、分布式存储、数据库、内容分发网络和区块链等应用至关重要。为解决此局限性,我们提出了LEAD,一种将学习模型整合到DHT结构中的新型系统,以显著优化范围查询性能。LEAD利用递归机器学习模型作为学习哈希函数,在分布式系统中映射和检索数据,同时保持数据的固有顺序。LEAD的设计旨在最小化范围查询延迟和消息开销,同时保持高可扩展性和对网络变动的抗干扰能力。我们在测试床实现和仿真中进行的全面评估表明,与现有的大规模分布式系统中的范围查询方法相比,LEAD在系统效率方面取得了巨大优势,将查询延迟和消息开销降低了80%至90%以上。此外,LEAD展示了良好的可扩展性和对系统变动的鲁棒性,为分布式键值系统中的高效数据检索提供了稳健且可扩展的结构。
Keyword:
Key-value store
learned hashing
DHT
期刊
I
IF:
0
论文数:
551
被引数:
0
机构
引用论文
Efficient Memory Management for Large Language Model Serving with PagedAttention使用PagedAttention服务的大型语言模型的有效内存管理

