云计算环境下MapReduce的资源建模与性能预测
乔媛媛 刘芳 凌艳 尹劲松
为了预测云计算环境下的作业资源与时间消耗,根据MapReduce的资源消耗模式,量化了MapReduce作业的资源使用,提出了一种预估Hadoop的MapReduce作业的中央处理器(CPU)利用率和运行时间的模型.使用多项式回归的方法,可以在云计算环境下,对不同配置的MapReduce作业的CPU利用率和运行时间作出预判.使用不同配置条件下CPU密集型的Hadoop基准测试验证了该模型的有效性,最后使用误差平方和、平均绝对百分误差、标准差和确定系数4种评估方法计算了模型预测的精准度.
云计算环境下MapReduce的资源建模与性能预测