File aware distributed deduplication system in cloud environment

doi:10.1007/s11227-025-08058-0

2025-11-15

PRE

Amdewar Godavari *

Chapram Sudhakar

T. Ramesh

DOI：10.1007/s11227-025-08058-0

原文链接

原文求助

摘要

En 中文

在云环境中，大量客户端正生成海量的重复内容，这些内容以不同类型的文件形式存在。数据冗余在同一类型文件中更为普遍，而在不同类型文件之间则可忽略不计。不考虑文件类型应用相同的去重技术会导致资源浪费，且去重效果不显著。如果将同一类型的文件路由到同一数据服务器，通过去重可以消除更多重复内容，但会引发存储不均衡问题；如果忽略文件类型将文件分布到各数据服务器，则可实现更好的存储均衡，但消除的重复内容会减少。为解决这些挑战，提出了一种分布式去重系统。该系统根据冗余程度将文件分为高冗余、低冗余和不可预测冗余文件三类，并为每类文件分配一组数据服务器。通过源端预处理以及数据服务器端资源密集型的重复内容识别与消除，可降低通信开销。数据服务器对高冗余和不可预测冗余文件采用基于相似性的分块级去重，对低冗余文件则采用文件级去重。该系统在实现高负载均衡的同时，能够达到相当的空间节省效果。

Keyword:

Distributed deduplication

Disk bottleneck

Load balancing

Cloud computing

Cloud storage