基于云平台的电信数据仓库文件备份和分布动态调整算法
杨苗苗 李跃辉 刘静 许静
Hadoop利用统一的备份机制来确保数据的可用性和容错性。然而对于重要的文件块,只能通过修改配置文件来设置副本数量。通过分析电信业数据仓库文件的访问情况,提出文件备份与存放动态调整算法(BPDA)来提高数据局部性,以减少数据传输带来的I/O和网络消耗,提高查询效率。运用多副本一致性哈希算法,概率采样和竞争力弱化算法,得到每一个文件的最佳备份数和备份位置。实验结果验证了该算法可以提高查询关联效率。
基于云平台的电信数据仓库文件备份和分布动态调整算法