云计算环境下机票价格预测及任务分配研究

中国科学技术大学  黄承真

具体工作包括： 1)针对航空收益的价格管理,力图挖掘出机票价格变化的规律,利用爬虫技术抓取机票数据,基于机票价格密度图像,提出用于决定是否购买机票的Cluster_Predict_Ticket算法。 2)针对Cluster_Predict_Ticket算法在处理大数据量机票数据效率低下问题,提出Cluster_Predict_Ticket算法的MapReduce版本PCluster_Predict_Ticket算法,将算法移植到Hadoop环境,利用MapReduce编程模式提高算法效率。实验表明在不损失预测精度的前提下PCluster_Predict_Ticket算法更具扩展性和效率。 3)针对异构环境下Hadoop任务调度问题,提出HTA (Hadoop Task Assignment)问题,使用最小费用最大流对HTA问题进行建模。提出了λ-Flow算法,将原先一次完成的任务分配过程划分成多轮,每轮基于当前集群状态,以及上轮任务的执行情况,动态进行任务分配,直至全部任务分配结束,以期达到最优执行效率。通过与其他算法对比实验表明,λ-Flow算法能够更好地适应集群的动态变化,有效减少作业执行时间。 本文的成果验证了PCluster_Predict_Ticket算法的扩展性和λ-Flow算法的有效性,有效的解决大数据环境下机票价格预测的效率问题,提高了Hadoop作业的执行效率。本文关于数据挖掘算法MapReduce化的研究不仅仅适用于机票数据,可以扩展到其他数据挖掘场景,同时,本文工作也可为云计算环境下的任务调度问题提供一定的借鉴。

云计算环境下机票价格预测及任务分配研究