安全管理平台中基于云计算的日志分析系统设计

陈洁 于永刚 刘明恒 潘盛合 徐克付

安全管理平台(SMP)是实现安全管理工作常态化运行的技术支撑平台,在实际应用中需要实时处理来自安全设备所产生的海量日志信息。为解决现有SMP 中海量日志查询效率低下的问题,设计基于云计算的SMP 日志存储分析系统。基于Hive 的任务转化模式,利用Hadoop 架构的分布式文件系统和MapReduce 并行编程模型,实现海量SMP 日志的有效存储与查询。实验结果表明,与基于关系数据的多表关联查询方法相比,该系统使得 SMP 日志的平均查询效率提高约90% ,并能加快SMP 集中管控的整体响应速度。

安全管理平台中基于云计算的日志分析系统设计