基于Hadoop的智能调度云数据中心关键技术研究

华北电力大学   杨龑骄 

本文针对智能电网调度云数据中心的三个关键问题进行了重点研究。第一、云数据中心内部网络结构。在分析对比传统网络结构算法以及最新提出的BCube、DCell数据中心网络结构算法的前提下，提出了更具有扩展性、容错性的PCube网络结构算法；第二、Hadoop云平台的副本存储策略。针对Hadoop现有副本存放策略的不足，本文研究目前学者提出HDFS改进存储策略CoHadoop副本存储策略，并在此基础上对其智能性加以改进，依靠FP数组挖掘算法对Locator的相关性进行定义，完善了CoHadoop算法的性能，使其更好的适合智能电网调度系统中事务数据集大而稀疏的特点；第三、Hadoop云平台的任务调度策略。本文改进了现有Hadoop平台的公平调度算法，基于模拟退火策略对任务选取进行优化以适合智能电网调度系统任务多、优先级区分明显等特点。 最后，为验证相关算法的有效性，随着研究过程的进行，本文分别对网络结构算法进行模拟实验，验证了其扩展性、容错性等关键特性；之后为验证Hadoop副本存储策略和任务调度算法的性能，本文借助一个已有云计算平台搭建了Hadoop集群，对相关实验环境进行了模拟并运行了相关算法实例，验证了算法的有效性。

基于Hadoop的智能调度云数据中心关键技术研究