云存储系统关键技术研究

郑州大学    赵少锋  

论文针对通用云存储系统的架构进行研究,并给出基于Hadoop处理海量小文件方法。 本文主要研究内容如下： 在对HDFS深入分析研究的基础上,综合考虑了通用云存储系统的特征,以提高存储效率为目标,提出一个云存储系统的架构。 借鉴了国内外关于HDFS中小文件处理方法,采用二维装箱算法思想和动态优化思想,设计了小文件处理算法,对HDFS中的小文件进行预处理,提高系统的响应速度。实验表明,所提出的小文件处理方法的能有效提高资源的利用率及系统的响应速度。 设计实现了一个基于高校应用环境云存储原型系统,该系统将对象内容和对象元数据进行分离,采用多区域架构模型。原型系统验证了提出的云存储系统架构合理性和有效性。

云存储系统关键技术研究