一种面向纠删码技术的云存储可靠性机制

杜芸芸

在云存储中，数据可以分为三种类型：读频繁、写频繁以及冷数据。对不同类型的数据设置不同的编码机制：对读频繁数据采用多副本技术，频繁写的数据采用单文件编码方案，冷数据采用跨文件编码方案。在云存储系统中提出了一种新的纠删码技术的可靠性机制魔方码，该编码易于实现，具备高的容错性并且相比多副本机制可以减少资源的消耗。以HDFS上的一个RAID包为基础，实现魔方码的原型，并添加BlaumRoth、RDP以对比测试。虽然各种编码各有优缺点，通过单机和集群测试RAID-5、BlaumRoth、RDP和魔方码的编译码速度，魔方码译码速度比现有最优RAID-6编码RDP码提高了一个数量级。同时，针对大规模分布式系统提出了一种三维纠删码，可以容任意7个错误。总之，测试结果显示魔方码相比三份副本技术，在减少一半资源消耗的同时可以保证高的可用性和可靠性。

一种面向纠删码技术的云存储可靠性机制