FrigateBird: Decoupling Metadata/Data Services for Continuously Fast Object Storage

Yiming Zhang

doi:10.1109/TSC.2025.3594340

FrigateBird: Decoupling Metadata/Data Services for Continuously Fast Object Storage

0

PRE

AI

DOI：10.1109/TSC.2025.3594340

原文链接

原文求助

摘要

En 中文

目前，网约车服务拥有数千万注册司机和数亿注册乘客，每天提供数千万次行程服务。与Facebook和LinkedIn等社交媒体应用不同，网约车服务需要始终快速地读写查询大量小对象（如照片和音视频片段），以便支持人脸比对和音视频记录的情感分析等关键在线计算。这对于网约车服务识别和避免潜在危险尤为重要。现有的对象存储（如Haystack和Tectonic）通常将对象数据存储在文件中，并将对象元数据存放在独立的键值存储（如RocksDB）中，这主要不适用于网约车服务，因为对象的文件相关信息与对象数据一起存放。这严重影响了对象存储的I/O性能：首先，为保证崩溃一致性，对象数据和对象元数据的写入必须在事务的分离阶段进行，这显著增加了I/O延迟；其次，已删除对象的空间需要通过合并进行回收，当系统忙于处理常规读写请求时，这可能导致I/O性能急剧下降。本文介绍了FrigateBird，一种持续高速的对象存储系统，专为网约车服务设计。FrigateBird在三个方面区别于现有对象存储：首先，我们提出了一种元数据/数据解耦的服务架构，其中丰富的元数据服务实现对象元数据的高效查询和更新，而原始数据服务仅执行磁盘I/O操作，从原始磁盘读写对象数据。其次，我们提出了一种丰富的元数据结构（称为RichMeta），将写操作日志作为对象元数据的一部分，这使得FrigateBird能够同时将对象数据写入原始磁盘（无文件系统开销）并将元数据写入键值存储，通过检查事务是否完成并在未完成时回滚来保证崩溃一致性。第三，我们设计了一种无需合并的删除机制，只需通过更新元数据即可高效删除对象，无需涉及数据服务，从而使FrigateBird能够高效支持网约车服务的频繁删除操作，同时避免因数据迁移导致的性能波动。评估结果表明，FrigateBird在正常场景和合并场景下的平均I/O延迟分别比当前最先进对象存储快$3.36\times$和$27.9\times$。

Keyword:

Ride-hailing service

object storage

decoupled metadata/data services

compaction

continuously fast

FrigateBird: Decoupling Metadata/Data Services for Continuously Fast Object Storage

摘要

期刊

机构

引用论文