混合云环境下科学工作流数据布局研究

安徽大学   马飞

为了适应企业的安全性和迁移需求,云计算演变为公有云、私有云和混合云。公有云具备更好的扩展性和灵活性,适合部署开放性的应用程序;而私有云更加安全而且便于控制,适合部署关键数据和敏感数据。混合云是新的云计算架构,是公有云计算和私有云计算的混合,具备扩展性和安全性双重特性的云计算模式。可以根据不同的应用需求以及成本约束的考虑,灵活的在公共云和私有云之间选择或并用,来构建具有高可用性、动态扩展性、高安全性的计算中心和资源中心,形成混合云的应用模式。公有云是一种将IT的相关资源以服务的方式提供给用户使用,用户通过付费按需获取的计算模式。部署在混合云环境中的科学工作流应用,其执行过程是混合云环境中公有云和私有云协作的过程,该过程中跨数据中心数据移动难以避免,给部署在混合云环境中的科学工作流带来了2个问题：(1)跨数据中心数据移动会产生很长的时间开销;(2)跨数据中心数据移动会产生很高的传输费用。本文针对上述两个问题分别提出了两种不同的数据布局策略。针对传输时间问题,传统数据布局方法采用负载均衡划分模型,划分数据关联矩阵,布局数据集。然而没有考虑平衡负载引起的传输时间开销。我们提出了一种新型的基于数据关联破坏度的划分模型,基于该模型提出了一种优化传输时间的数据布局方法,该方法包含2个算法：初始阶段静态布局算法和运行阶段动态布局算法。实验表明,本文算法能够有效的降低科学工作流执行时跨数据中心数据传输时间。针对传输费用问题,目前学者通常是从单个数据密集型应用的角度研究降低数据传输费用。然而工作流系统一般都包含多个工作流,并且工作流相互之间共享数据。传统单工作流数据布局优化算法对多工作流优化效果有限。我们将从全局的角度建立基于多科学工作流数据关联图的传输费用模型,研究基于二进制粒子群算法BPSO (Binary Particle Swarm Optimization)的数据布局优化策略,从而减少对云计算传输资源的使用费用。本文通过对混合云计算模式进行模拟,建立混合云数据中心模拟环境,并对本文提出的两种数据布局策略与其相似的数据布局策略分别在数据传输时间,数据传输费用等方面进行对比实验。

混合云环境下科学工作流数据布局研究