专业支持:(0512) 63016160 / 销售热线:(0512)63016068
当前在线: 288 今日上线: 1384 今日新增: 3

基于云端的大数据崛起

文章来源:  中国云计算 发布时间: 2013年07月17日   浏览: 1432   作者:中国云计算
fiogf49gjkf0d

大数据是未来的行业发展趋势,其发展势头已势不可挡,而Hadoop作为更大规模分布式计算和存储离线处理集群的代表,在今年更是红遍了全球。

无可否认,大数据正在成为改变人们生活的重要因素,而大数据和云计算的整合也在如火如荼地进行中。

从定量、结构的世界,到不确定、非结构的世界。这个转变,使我们得以了解真实信息,提高决策水平,当社会对自然的数据有较为完善、随时的分析能力时,我们对事件的把握及预测能力便增强。以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具,通过对大数据分析、预测会使得决策更为精准,而对于许多企业而言,数据正成为在商战中取胜的决定性要素。

日前落幕的第十一届大连软交会2013大数据创新论坛,以大数据的分析及服务为主题,邀请了来自Intel、微软和IBM的高层专家,分享了对大数据技术的见解,共同探讨大数据生态系统的构建。

中国有着庞大的人群和应用市场,复杂性高、充满变化,如此庞大的用户群体,构成了世界上最为庞杂、最为繁复的数据。解决这种由大规模数据引起的问题,探索以大数据为基础的解决方案,是中国产业升级、效率提高的重要手段。

IBM 智慧的计算引领方向

作为论坛当日的一大亮点,IBM中国开发中心首席技术官毛新生在以智慧的计算为主题的演讲中提出:大数据并不是Hadoop, Hadoop只是进行大数据分析的一个很小的分支,大数据分析是非常多样化的领域,每一个领域自身数学模型和数学属性,这些模型和属性需要开发者去开发领域相关的算法,然后将这个算法映射到一个可以进行大规模分布的机制上,这个机制往往要利用云计算基础设施达成。

作为大数据领域的领导者,IBM正在利用领先方法论和全面大数据技术帮助企业重新思考已有的IT模式;助力企业进行基于这场信息革命的业务转型,获取竞争机遇和不可估量的商业价值。同时,IBM作为目前业界唯一能够集咨询、服务、软硬件综合实力,提供端到端全面整合解决方案的厂商,相关产品和服务覆盖了大数据及分析相关领域的各个阶段、各个领域;IBM的大数据实践已经深入到包括中国在内的全球市场的各个行业,包括电信、金融、医疗、零售、制造等众多客户已在IBM大数据平台及大数据分析等技术和理念支持下获得收益。此外,IBM还推出了一套以成果为导向的组合产品解决方案,包括欺诈预测、财务运营和客户服务三大核心能力。这套解决方案广泛汇集了IBM的智慧资本,包括软件产品、基础架构、研究及咨询服务。

针对企业大数据方向开发者,IBM推出了多款产品和技术,大力提升了其分析产品的加速性能,简化了开发和运营。新版本企业级Hadoop产品InfoSphere BigInsights可以利用现有的SQL技术,更便捷地开发应用组件。兼具安全性强和高可用性特点,新版BigInsights能够更加契合企业部署需求。新版流计算软件InfoSphere Streams在实时分析的开发和部署上进一步增强了操作的简易性。新版关系数据库管理软件Informix包含TimeSeries Acceleration,能够适用于智能仪表和传感器数据的运行报告和分析。

英特尔 软硬协同、体验至上

大数据正在深刻地改变软件行业、IT产业,以及人们生活的方方面面。英特尔亚太研发有限公司总经理、英特尔软件与服务事业部中国区总经理何京翔博士表示:产业正在重构。我们希望与广大产业链伙伴和开发者分享英特尔大数据技术平台和计算解决方案,推动构建本地&lsquo端到端&rsquo的大数据生态环境,共同迎接智能城镇建设中日益苛刻的大数据挑战。

目前,英特尔的软件支持已经扩展到整个软件栈,从平台硬件、固件、虚拟机、云计算到操作系统、开发工具、中间件和应用程序,帮助广大产业链伙伴和开发者释放创新潜力,革新用户体验。以英特尔针对大数据的开放架构核心产品线,配合英特尔Hadoop分发版,可以实现软硬协同、体验至上的创新效果。例如,利用英特尔至强处理器平台对网络和I/O技术所做的优化,与英特尔Hadoop分发版进行强力组合,以往分析1TB的数据需要4个多小时漫长等待才能完全处理完毕,现在仅需短短的7分钟即可完成,极大地提升了大数据智能的意义。

英特尔Hadoop目前已经有了广泛的应用案例,包括智慧城市、电信、金融、医疗等行业都产生了用户。在谈到具体案例的时候,苗凯翔博士指出在英特尔Hadoop发行版软件的应用领域,中国比其他国家是先迈出了一大步,走在了世界的前列。以电信行业为例,英特尔Hadoop发行版已经被中国联通(600050,股吧),用以进行历史账单及流量的查询与分析。正是由于客户的强烈需求,使得英特尔Hadoop这一原本在英特尔作为创新与尝试性的项目最终变成实际的产品出现。

通过与本地合作伙伴的携手努力,英特尔正在将大数据技术应用于智慧医疗的创新。英特尔亚太地区研发有限公司数据中心软件部大数据解决方案经理王晓栋介绍了在过去一年中与用友在UEP框架下实现的合作,主要是基于英特尔x86集群+x86综合解决方案,来尝试处理现在在医疗中的问题。例如医生查询病人病例,以前可能要拿病例本才能查到,而随着整个医疗系统在大数据时代的升级,所有医疗病例都集成在英特尔大数据平台上,使其查询速度、处理速度都达到顶级的水平。在过去一年,双方在区域性、大型电子健康档案和区域性的医疗质量分析方面均进行了不同程度的尝试。

从IT硬件系统,到数据管理应用,再到数据处理和分析软件领域,英特尔都拥有广泛的合作伙伴和健康的生态系统,通过合作伙伴间的紧密合作,已能够向用户提供适用于大数据应用,或针对此应用进行了进一步优化的服务器、存储设备和网络设备,以及能与这些设备实现无缝对接、更符合大数据应用需求的数据管理和数据分析软件。

大数据处理任务对于开放架构平台的倚重,让英特尔在这一领域获得了越来越多开发者的关注。作为全球领先的开放架构平台最核心部件处理器平台的提供商,英特尔首要的任务就是要打造适用于大数据应用的芯,而后帮助开发者围绕这一基础创新打造可承载大数据应用的基础设施。英特尔还计划在其上的数据组织与管理层,针对大数据的分发和管理需求提供针对英特尔平台优化的Hadoop产品和服务;在分析与发现层,提供针对客户端与服务器端算法开发的支持,以满足大数据计算所需的性能与规模要求;在决策支持与IT服务层,则将联合生态系统内的合作伙伴,提供更为优化的可视化应用体验。英特尔所有与这些规划相关的具体策略,将随着大数据技术、应用和市场的发展逐步深化、细化。

微软 携甲骨文漫步云端

结合对大数据本身的认知和微软自身强大的产品组合,微软可以为用户提供一个端到端的大数据解决方案。简单来说,就是后端以新一代SQL Server 2012为基准平台,将大数据管起来,然后在中端以数据集市为依托,配以丰富的数据应用,最后在前端以丰富的界面形式展现数据分析的结果,完成数据的汇总应用与分析结果呈现的完整流程。

为帮助企业快速采用其大数据解决方案,微软将同时在Windows Azure 平台和 Windows Server 上提供 Hadoop(在前者上用作基于云的服务,在后者上用作内部部署的分布)。并且有非常多的第三方针对Hadoop的应用工具,能够在这个平台上做到更好的分析、更好的视觉化的工作。微软大数据解决方案还支持Mahout等通用的第三方工具与框架,通过Hadoop流,支持C++、C#、Python、Ruby和Pearl语言的定制挖掘算法。

去年9月份,微软跟中国电信天翼平台达成合作共识,他们把门户网站的服务、灾备服务都建立在Windows Server上,这样便整合成了一个非常完整的云操作系统。对于客户来说,这个系统将带来了相当大的价值,它能够把你所有的应用、所有的运维场景在线上和线下更好地管理起来。从整体角度来说,云的管理系统能够帮助IT人员解决一系列操作场景。

为了让更多初创企业使用微软公有云服务,微软大中华区副总裁兼市场战略部总经理、微软大中华区首席云计算战略官谢恩伟表示,公司已在华启动了云加速器项目,免费为新创企业提供Windows Azure服务,而目的也是进一步推广公有云服务。Windows Azure开放、可靠、易用的平台服务大幅降低了初创企业系统开发及运营成本,帮助初创企业快速在全球范围内开展业务,并为全球用户提供一致卓越的用户体验,使初创企业集中精力于核心业务开发,加速业务成长。目前第二期项目已接近尾声。

此外,吸引广大开发者眼球的好消息还包括HTML 5网页app、Apache Cordova/PhoneGap 和 Windows Phone 7.5的开发者,现在可以用Azure作为服务支持。而可以享有这个权利的移动端浏览器包括IE8以及现行版本的Chrome、 Firefox、 Safari和2.3以上的PhoneGap。

近日,有国外媒体报道称,甲骨文与微软公司宣布在云计算领域展开深入合作。其中微软云平台Windows Azure将全面支持Oracle数据库、Java、Weblogic和Linux。通过与甲骨文的合作,微软能够给Windows Azure平台的客户提供更多的部署选择。但对于Azure平台应用在甲骨文和微软云上的表现具体会如何,目前尚不得而知。

三巨头 八仙过海各显神通

2012年,从整个云计算解决方案ITBrand排行榜上看出,IBM、微软、英特尔虽然在排名上有细微波动,但一直稳居前三位。

云计算技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台,大数据应用在这个平台上运行。大数据是未来的行业发展趋势,其发展势头已势不可挡,而Hadoop作为更大规模分布式计算和存储离线处理集群的代表,在今年更是红遍了全球。英特尔一方面准备了全面的、端到端的、跨越了凌动、单路双路及多路至强处理器产品的核心硬件支持,另一方面由英特尔中国团队领衔开发的Apache Hadoop软件的英特尔Hadoop分发版不但可提供开源版本所不具备的强大技术支持,还针对英特尔架构硬件平台进行了充分优化;IBM的优势在于其信息管理平台、信息整合与治理、分析能力,以及平衡配置的IT基础架构;微软希望将Hadoop集成到Windows系统中,在Windows Azure、Windows Server、SQL server 2012上全面支持Hadoop。

在大数据分析领域,虽然暂时面临技术人员匮乏的状况,但现今越来越多的人开始学习Hadoop,企业也在鼓励和培养技术人员学习Hadoop。广大开发者应抓住大数据机遇,选择更适合的平台技术,借助最优的解决方案,利用大数据开发出更智能、更个性化的新一代应用,并最终实现应用经济的转型升级。


标签: 数据 , 基于 , 云端 , 崛起
一键分享:

在线客服