云平台下HDFS HA的研究与实现

西北大学 王刚

本文针对上述存在的问题,进行了深入的研究。详细分析了NameNode单点故障的原因,并研究了现有方案的设计思想,同时对将Hadoop移植到现有云平台中的可行性进行了分析,提出了基于虚拟化平台下NameNode的高可用性方案。该方案从两个方面保证了NameNode的高可用性。一方面,实现了一种基于NameNode宿主机负载的迁移策略,当宿主机的负载过大时,该策略实现将NameNode实时迁移到一个合适的宿主机上,保证了NameNode提供不间断的服务。另一方面,对于NameNode的单点问题,通过添加一个备用的NameNode (Standby NameNode),实现了一种自动切换机制,当NameNode宕机时,该机制实现备用节点的自动切换,由该节点继续对外提供服务。最后,通过部署实验环境,模拟宿主机超负荷运行及NameNode单点故障,验证了该方案的可行性,并对性能进行了评估。

云平台下HDFS HA的研究与实现