云计算平台上的增量学习研究

南京邮电大学 李曼

本文结合传统增量学习算法自身的特点,在深入分析MapReduce框架机制之后,将模块化的集成学习思想融入增量学习的过程中,设计了两种基于云计算平台的增量分类算法。两种算法的Map阶段都是完成相应基分类器的训练,不同的Map任务可以高度并行化地执行。Reduce阶段根据学习环境中是否有概念漂移现象的产生,分别采用分类器组合方式与分类器选择方式对Map阶段的基分类器进行集成,从而分别实现了无概念漂移和有概念漂移环境中快速、高效的增量式数据挖掘任务。在KDD2010、Hyperplane等数据集上的仿真实验说明了所提算法的正确性与可行性。

关键词：增量分类 概念漂移 云计算 Hadoop

[下载地址]:http://bbs.chinacloud.cn/showtopic-13309.aspx