Hadoop云平台下基于资源感知的作业调度算法研究

云南大学 胡宗振 

本文首先对云计算与大数据的相关概念与特点进行了阐述；对开源云平台Hadoop的关键技术一-MapReduce编程模型、分布式文件系统HDFS做了深入研究,并分析比较了现在较为流行的几种并行编程模式。然后对Hadoop平台下的三种作业调度算法：先入先出调度算法(FIFO)、公平份额调度算法(Fair Scheduler)和计算能力调度算法(Capacity Scheduler)的设计思路和实现方法进行研究,在此基础上,设计一种新的Hadoop作业调度算法,命名为基于资源感知的调度算法(The Scheduler Algorithm Based on Resource-Aware),以下简称为资源感知调度器Resource-Aware Scheduler,简写为RAs。 本文设计的资源感知调度算法是综合考虑计算节点性能的异构性、作业处理数据量的差异性、任务的多样性来设计的,在此过程中我们引入合理度的概念来刻画任务分配方案,用它来权衡计算节点、作业数据量、任务多样性之间的关系,实现云计算平台的运行效率与资源合理分配的整体效果最大化。因此具有最大分配合理度的方案即为最好的任务分配策略。最终实现不同计算节点的差异使用、不同类型作业的差别服务、不同任务的差异执行,从而提高系统的整体响应时间和系统资源的利用率。

Hadoop云平台下基于资源感知的作业调度算法研究