基于Hadoop的云安全存储系统的设计与实现

广东工业大学  蒋向阳

云计算是分布式计算、并行计算和网格计算的发展,给人类生活、生产方式和商业模式带来根本性改变,是当前全社会关注的热点之一。云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显出来,安全问题已成为阻碍云计算和云存储发展的关键因素。Hadoop是Apache软件基金会下的一个开源分布式计算平台,为开发者提供了一个分布式系统的基础架构,用户可以在不了解分布式系统底层细节的情况下开发分布式应用。分布式文件系统HDFS作为Hadoop的核心组件,具有强大的存储能力,适合作为云存储系统,但是其设计上存在一些缺陷,仍在不断发展之中,存在改进与完善的空间。本文研究了HDFS多副本存储技术和身份认证技术,针对其中存在的问题提出了改进方法。研究了基于Hadoop的云计算环境下数据存储的安全问题,设计了云安全存储系统,且实现了系统原型。主要工作如下：(1)分析了HDFS多副本存储方案存在的存储效率不高、容易出现负载不均衡的问题,提出了一种基于信息分散法的分布式存储方案,设计了一个改进的文件块存放策略,进行了仿真实验,验证了方案的有效性。(2)指出了HDFS系统的身份认证存在用户容易被冒充等问题,设计了一个安全有效的一次性口令身份认证方案,使用该认证方案与HDFS身份认证结合的方式来对用户进行身份认证,提高HDFS的安全性。(3)采用JSP等技术结合HadoopAPI开发了一个基于Hadoop的云安全存储系统,可视化了HDFS的操作界面,实现了文件的加密传输、权限控制、安全共享等,克服了HDFS系统中数据明文传输及存储存在的安全隐患,提高了用户数据的安全性。论文的创新之处包括：(1)提出一种基于信息分散算法的分布式存储方案,设计的改进的文件块存放策略,改善了HDFS的存储负载均衡能力;(2)设计了一个安全有效的一次性口令身份认证方案,将该口令身份认证方案与HDFS认证相结合来提高HDFS的安全性;(3)设计了基于Hadoop的云安全存储系统,实现了系统原型。

基于Hadoop的云安全存储系统的设计与实现