基于云存储的重复数据删除架构的研究与设计

宋雨, 易 璐, 王凤霞

随着云计算的发展, 云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作, 缓解了老式数据中心的存储压力. 另外, 重复数据删除技术是一种缩减存储空间减少网络传输量的技术, 随着云的广泛应用也势必会发展应用于云存储中. 这两种技术结合将会给IT存储业带来实际效益. 本文通过研究重复数据删除技术、云存储技术, 设计了基于云存储的重复数据删除架构,提出了一种用In-line 方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案. 在本架构下, 海量数据存储在HDFS 中 而文件数据块的哈希值存储在HBase 中。

关键词: 重复数据删除技术 云存储 hash 值 HDFS HBase

基于云存储的重复数据删除架构的研究与设计