面向海量数据的云存储系统实现与应用研究

南京理工大学艾明

本文对海量数据存储及海量数据挖掘做了调研。由于网络中数据的表现形式是多种多样的,为了方便研究,本文以科研工作者管理文献为例,将海量数据来源具体化为网络中的电子文献数据。在此基础上,本文通过云存储和云计算平台,成功搭建了一个面向海量文献数据的云存储系统,该系统实现了文献数据管理与分析。系统首先需要用户注册,然后用户可以上传文献(如PDF文件)存储在云端,接着用户便可以管理自己上传的文献,如增加文献、删除文献等,同时系统还提供文献信息检索和聚类分析功能。

关键词：海量数据云计算云存储 GlusterFS Nutch Hadoop Mahout 文本聚类