基于Hadoop架构的移动终端云资源访问模式研究与应用

北京工业大学  汤艳

为了在Hadoop架构上建立移动终端云资源访问模式，首先对Hadoop架构的基本组成进行深入了解，并着重分析其核心组件HDFS分布式文件系统和MapReduce分布式编程模型的工作原理。由于Hadoop和云计算在观点和关键技术上的一致性，使得Hadoop成为面向分布式的云计算平台。其次，将云资源访问模式分为数据存储策略、请求调度算法和数据响应方式三个方面进行讨论，并对Hadoop架构下常见的云资源访问模式进行分析。然后，结合移动终端请求计算量小、并发性高、用户实时性要求高的特点，提出了基于Hadoop架构的移动终端云资源访问模式。其中数据存储策略包括树型拓扑结构、副本数量动态优化模型以及最远节点选择策略三部分，并提出了最远叶子节点算法，用于获取最远节点请求调度算法方面提出了带有等待长度阈值的本地化调度算法数据响应方式使用了http协议将结果反馈给用户。最后，将该访问模式应用到旅游信息检索系统中。通过对其应用效果进行分析，验证了该访问模式在数据存储策略方面不仅节省了存储空间，还提高了文件系统的可靠性本地化调度算法大大增加了请求本地化执行的概率，缩短了请求响应时间通过http协议可以很方便的将请求结果反馈给用户。

基于Hadoop架构的移动终端云资源访问模式研究与应用