Ocelot: An Interactive, Efficient Distributed Compression-As-a-Service Platform With Optimized Data Compression Techniques

Yuanjian Liu

doi:10.1109/TPDS.2025.3568221

Ocelot: An Interactive, Efficient Distributed Compression-As-a-Service Platform With Optimized Data Compression Techniques

0

PRE

AI

DOI：10.1109/TPDS.2025.3568221

原文链接

原文求助

摘要

En 中文

由科学模拟、基因组测序和其他应用产生的大量数据需要在集群间进行传输以供数据收集/分析。数据压缩技术已有效降低了数据存储和传输成本。然而，用户对交互式控制数据质量和压缩比的要求难以满足。我们提出了一种名为Ocelot的新型压缩即服务（CaaS）平台，其四大重要贡献为：（1）提供科学数据集的实时可视化、交互式压缩和传输。（2）整合了针对不同类型数据集的新型压缩策略，其效果优于传统方法。（3）提供了一种有效的方法来估算压缩任务的压缩比和执行时间。（4）在地理分布计算机上的多个真实数据集实验表明，Ocelot能够在网络较慢的集群中显著提升数据传输效率，性能提升超过10倍。

Keyword:

Compression as a service (CaaS)

data transfer

genome sequence compression

floating-point tensor compression

Ocelot: An Interactive, Efficient Distributed Compression-As-a-Service Platform With Optimized Data Compression Techniques

摘要

期刊

机构

引用论文