专业支持:(0512) 63016160 / 销售热线:(0512)63016068
当前在线: 288 今日上线: 1384 今日新增: 3

直播46:中国移动通信研究院云计算研究所所长孙少陵《大云核心技术及其应用》

文章来源:  中国云计算 发布时间: 2010年05月26日   浏览: 1411   作者:中国云计算

主持人:下面有请孙少陵所长。题目是打造大云平台迎接云计算时代。

孙少陵:
   
各位专家下午好!
   
我演讲题目是打造大云平台,迎接云计算时代,昨天下午我们中国移动研究院在2楼刚刚发布我们大云1.0,大家出门后可以看到中国移动云计算展台,欢迎大家访问我们刚刚发布在中国移动网站上的一个大云开发社区。
   
我演讲主要内容包括第一云计算产业发展概况。第二大云开发和实践,第三是云计算面对挑战和建议。
   
这张图可能在座比较熟悉,我们对云计算的判断可以借用IDC一个数据,在2008年的时候,云计算大家对它的预期在网上走势,到09年整个预期值达到了顶峰,其实意味着预期回落,同时意味着云计算从一个概念走上落地过程,IDC预计两到五年云计算成为主流应用。从我们的实践上讲,我们觉得这个判断实际上是非常有道理的,我们可以看一下目前美国在云计算方面应该是处在全球非常领先的位置,目前美国有很多大中型网站开始把服务托管在云计算服务提供商的云计算平台上,目前这方面的业务应该说增长非常快速,每个月增长率可以达到9%,同时对整个云计算未来市场预测有一个非常乐观的预测,到2013年整个云计算的市场规模达到1千多亿美元。
   
云计算得到了世界上各个政府的广泛关注,尤其是美国,美国目前把云计算作为一个国家战略,美国联邦政府有个CIO,成立一个云计算工作组,任命一个专门云计算的CTO协调云计算在政府IT服务上的应用。我们可以看到,513号美国政府税收监控一个网站迁移到亚马逊一个云计算平台,用亚马逊一个服务,是全世界比较大的政府举措,政府的关键的一些网站系统,信息化系统已经开始往公众云服务平台上迁移。我们某种程度可以看到全世界对云计算信心在提高。
   
我们关注美国国家航空和宇航体系,现在是建立一个平台,这个平台是未来解决航空以及政府其他领域海量处理问题,整个架构是基于三层,采用开元系统,另外值得关注是日本,在IDC信息化方面与美国相比有一定差距,在云计算时代,是希望自己赶上战略转型时机,最近我们了解日本政府投资5.37亿美元,在北海道或者对被地区建最大规模数据库采用云计算技术建立云计算特区。
   
韩国在云计算方面有一个雄心勃勃计划,在4大领域课题方面投入,争取把韩国打造成云计算强国。
   
我们再看标准化和开元活动,总体来说,云计算在全球应该说和IT和电信相关的标准化组织中引起非常强烈兴趣,不管国内国际,很多标准化组织纷纷开始组织云计算相关项目,比如说DMTMSNIA做存储,DMTFIT管理系统标准化,OGF做网格计算,TGG做绿色数据中心,还有ISO等等,他们都有一些或者是研究组,或者是兴趣小组,或者是已经启动的工作组研究标准化工作。
   
整体感觉,目前标准化处在各自为战的状态,我个人感觉未来标准化工作有一个收敛过程,从整个产业角度讲,如果标准化太多,每个小标准各自为战,这个世界不存在标准,整个产业成本不会因为标准化得到确实降低,我们认为下一步,很重要的工作是如何把各个标准化组织工作聚合起来,形成合力,推动全世界比较主流的标准,我们值得关注的是开源社区在云计算方面的工作,我们都知道,做IT的标准,尤其是软件标准,相对来说比比如说电信等等会困难一些,因为软件更灵活,可编程能力决定了对标准化的要求和需求并没有向通信系统迫切,所以实际上开源组织,他们的一些工作我觉得实际上走的比标准化更快,我个人理解,开源某种意义也是一种标准,最终产生的成果有所不同,标准化可能更多是一些协议标准,还有一些架构等等,实际上开源产生的是源代码,有套流程,实际上在云计算时代,不管是标准化组织,还是开源组织值得我们关注,实际上作为中国移动,我们目前跟踪比较多的,以PASS(音)为主的开源组织,类似于Google架构,虚拟机这块这些是开源虚拟机,有商用产品,有社区产品,我们可以下载原代码按照自己要求进行二次开发。
   
在云计算虚拟化管理这块有一些开源项目,跟云计算相关的,比如说一些商业智能等等,有一些开源项目,我们也希望未来可以和各位专家在这方面做工作。
   
目前应该说国际上比较主流的一些IT供应商或者IT厂家,他们现在都开始悄悄在整合自己的云计算的核心竞争力,有一些公司原来可能是以平台为主,有一些公司以应用为主,有一些做网络,有一些做存储,但是他们现在都开始把自己的产品线拓展到云计算从基础设施到平台到应用,这三个层面,可以看一下微软刚才赵总介绍了,微软现在形成了云计算整体产品线,不光有虚拟化,有AZURE平台服务,微软有大量应用,可能未来WindowsLIVE应用会迁移到云上,包括Google有基于云的搜索,亚马逊丰富PAAS环节,VMWARE现在也收购一些SPRINGSOURCE等等,ORACLE开始介入虚拟化计算机存储。思科原来做传统是网络设备,向虚拟化存储等等方面进军。
   
以上是目前我们理解整个云计算的产业状况,下面介绍大云。大云昨天跟各位专家介绍了一下我们主要的一些模块功能,这里稍微谈一下,我们技术路线,我们做目的和主要的一些思路,我们的设计目标其实从运营商的角度来说就是要提高性能,降低成本,要有高可用性,包括服务质量,同时有很好的扩展性,满足未来信息数据高速增长的需求。所以就决定了我们首先要采用软件和硬件,这方面我们做了应该说是几年研究,我们发现目前实际上我们可以由几个现象引导我们思维,CPU有摩尔定律,后来发现实际上存储和网络增长速度是超过了CPU增长,CPU能力是18个月翻,存储12个月,网络9个月,实际上某种意义上引导我们把原来不断的提高CPU或者提高单机性能这样的思路向未来,我们通过多个能力不强的简单的计算单元构造系统引进,我们现在大部分采用的是简单和廉价的硬件,实际上我们发现X86因为经典指令复杂指令很多技术方面融合,整个CPU提高频率方面遇到瓶颈,X86和小机能力已经慢慢接近,应该说现在X86可以达到中档甚至中高档小机CPU水平,廉价硬件可以采用,当然我们可能需要有其他的思路解决可靠性问题,这个后面我会说。
   
开源软件,我们可以看到开源实际上应该说是互联网这个兴起以后的一个算是新软件方面的趋势,在互联网界,应该说互联网公司大量使用开源软件,有很好的特性,我们可以剪裁,可以按照要求定制,实际互联网思维方式,我要的东西只要能满足要求,不一定要豪华轿车只要达到目的可以用最简单东西,开源软件可以满足我们这方面要求,而且会降低成本。开源软件对使用者提出更高要求,要有更强的软件的开发的一个和改造能力。
   
软件解决可用性问题,我们原来采用商用的小机或者大机服务器,实际上是通过在一个机器内部不同部件之间冗余解决问题,前面我说过,随着这种廉价的PC服务器或者X86设备,性能不断提高,实际上我们现在有另外一种思路,包括刚才说的网络带宽瓶颈也慢慢被打破,现在我们可以用软件方式解决可用性问题,实际也是很多公司,比如Google解决这个问题的思考方式,我们可以看到很多互联网公司全球这么大量用户群和业务量依然保持很高服务质量,这个方式值得我们借鉴。
   
最后一个是横向可扩展的体系架构设计,我们使用大量非常豪华档次很高的服务器设备,我们发现目前在我们的实际应用过程中,不管是后台系统还是前端业务提供系统都遇到了企业容量瓶颈,按传统的方式把一个设备单设备能力不断向上拓展方式行不通,很难满足未来互联网大业务量发展需求,所以我们现在考虑怎么把系统横行扩展,单设备容量能力可以很低,让我横行扩展,多设备联一起提供能力,没有一个限制,实际上可以满足未来长期发展要求。这是我们技术路线。
   
后面简单介绍大云发展历程,我们是20073月启动大云研发项目,主要目标一方面是为中国移动IT支撑系统,我们后台系统提供支持,另外是考虑未来为移动互联网提供基础设施。我们有几个主要的里程碑,在0810月,在实验室近来了256个节点系统,098月在内部发布大云0.5版本,昨天会上我们正式发布大云1.0成果。
   
实验室情况简单。
   
这是我们云计算的技术架构,应该说是基于X86硬件,存储我们目前基本使用是PC服务器自带的硬盘,之上我们使用开源的LINX操作系统实现虚拟化工程,在平台层,目前我们是完成了海量数据分布式系统,对象存储系统,同时我们开发一个系统管理的系统,我们做了一些应用引擎或者应用能力的一些组件,包括数据挖掘,云存储中间件等等,这些能力一方面验证我们下面云平台能力,另外也是未来应用开发提供更方面可集成的东西。
   
下面简单过一下,昨天在大云发布会上把我们以上的几个模块和功能做了介绍,BCEC类似于亚马逊的东西,和微软的云计算私有云,公有云产品类似,是基于X86虚拟服务器提供不同CPU内存和硬盘配置,提供用户服务系统,用户可以按照自己的要求,什么时候启动服务什么时候停止,有一个快捷部署能力,强大监控和安全功能。
    MAPREDUCE
HYPERDFS开发这个系统,里面根据运营商要求做了很多可靠性改进,不详细介绍。
   
并行的结构化数据处理系统,也是基于几个开源项目,比如HADOOP一些系统,在一起实现传统的接口,提供数据仓库系统,扩展性比传统数据仓库更好,是纯软件解决方案,这个系统应该说成本更低。
    BC-PDM
我们在大云基础平台上开发的并行数据挖掘应用引擎,实际上目前是支持SAS使用模式,通过浏览器用拖拉方式把操作和算法形成一个数据分析流程,在我们后台1千多台服务器基础设施上能够快速把数据分析任务,数据挖掘任务完成,实际上我们现在也开发了一套API,可以让一些其他的应用系统,比如说运营商经营分析,数据挖掘系统,他的系统可以通过API调用数据挖掘能力。
   
对象文件存储系统,对象文件存储和传统的目录文件存储不同之处,整个系统扩展性会更好,可靠性更高,比较适合在互联网应用,比如一些用户网盘,EMAIL,一些照片小文件存储,这些应用是比较适合。我们也是实现这么一个系统,这个系统和亚马逊的简单操作系统是类似的功能。
   
还有一个应用引擎是大云搜索引擎,应该说是最初我们研发的目的是想用互联网上最苛刻条件考验云计算平台,因为我们感觉目前搜索引擎应该说是在我们信息系统中最有挑战性一个系统,尤其是互联网搜索引擎,目前Google这这方面做了很多贡献,整个数据量是最大的数据库,我们系统上到目前为止,因为我们还有其他的应用开发,现在并没有很多资源支持这个搜索引擎,但是我们现在在搜索引擎上抓取了6余多网页,目前大部分搜索操作可以完成。
   
大云开发者社区,我们开发大云很重要的目的是我们希望推动云计算的应用发展,因为如果云计算没有一批对他有兴趣,致力于做云计算开发的队伍的话,云计算没有办法获得成功,实际上我们现在,我们昨天1.0发布以后,把大云系统,刚才说的几个模块挂在我们网站上,大家可以在这个网站上尝试申请虚拟机,在虚拟机上建立一些应用,我们上面有完整的开发文档和API资料,大家可以在上面做应用开发,这些东西是现代互联网的利器,编程框架,如果有这个几百台上千台服务器支撑,我们给大家提供环境,让在校大学生还是应用开发爱好者都可以尝试。在这个平台上大家可以和我们的开发队伍互动,希望大家对我们大云平台提出宝贵意见让我们改造。
   
最后云计算面临挑战和建议。
   
挑战有四点,应用和数据安全,互操作和标准化,服务质量保证,要求管理模式相应变化。还有一点,也是云计算面临比较大的挑战,目前大家对云计算的认知,到底云计算是什么,到现在为止大家不断争论,而且有很多人认为云计算实际是一个商业包装,概念炒作,我个人对这个不太认同,我们感觉,云计算当然有服务模式上的变化,同时实际上有很多关键技术探索,我们云计算这个时代会要求系统有更大的可扩展性和更大容量,要求成本低,我们要求我们的数据中心能够更加节能减排,我们想象如果未来中国或者世界很多云大量消耗电脑的话,对于整个世界应该是一个灾难,所以这些方面都给我们带来创新的需求和创新的机遇,我个人感觉,云计算实际上在技术方面也是我们面临的一个赶超世界水平的机会。
   
对于云计算未来发展建议,第一个建议国家能够对云计算相关企业提供一些政策支持,加强对云计算的应用推广,促进产业链成熟,世界很多政府可以看到,他们对云计算的推动力度非常大,而且美国政府明确把云计算定义成下一代IT技术,所以如果我们要说在这个时期,这个阶段没有去大力推进我们有可能会错过一个提高我们IT技术,提升我们信息产业,实现信息产业升级的机遇,这方面我们希望国家在资金政策方面进行支持。
   
建立国家级云计算标准体系,在此基础上积极去参与整个国际的标准化,云计算标准化工作,云计算不解决标准化工作,实际上对未来整个推广有很大障碍,如果我们用户或者说我们的一些企业开发的一个应用只能在一个云平台使用的话,这个企业做决策要顾虑很多,对于运营商说,搭建云计算服务设施只能用一家解决方案,实际上也不是我们运营商做事的方式。我们是非常希望业界一起推动云计算标准化体系,真正实现整个产业成本降低。
   
加强安全等级保护数据安全和用户隐私保护等等方面制度的制订。安全这个东西尤其是云计算的安全,一方面是需要有技术上的突破,另一方面需要有相关的管理和政策法规方面的配合,所以我们也呼吁政府部门能够早日考虑制订一些云计算的相关的政策法规,真正能够让云计算未来发展能够健康持续发展。
   
以上是我的演讲谢谢大家。

提问:我问一下咱们中国移动研发的大云,这个东西完全依托中国移动力量,不管开源头什么,有没有和其他合作伙伴构建这个战略?

孙少陵:我们现在有很多合作伙伴,产学研都有,有各个公司,有高校或者研究机构和我们一起做开发,实际上大云系统是开放的,未来我们如果要说有一些比较开放的其他提供商提供好产品,未来可以集成在一起使用,应该说大云这个东西是一个开放的系统。

提问:两个问题,海量运算或者结构上的处理,有没有说针对这部分和世界其他大厂做一些合作,比如说刚才提到的ORACAL等等这些合作,合作模式怎么样。刚才看到一个曲线,有部分人说比较感兴的,理性部分在后面,因为沉淀下来有可能,有一些可以做盈利模式,未来如何赚钱,移动这边看法已经想好盈利模式怎么样?

孙少陵:HADOOP目前我们应该在开源社区框架之下开展一些合作,当然因为现在ORACAL这样的企业我了解没有太多介入HADOOP工作,我们和雅虎等等在开源这边有一些合作,包括我们在提高整个系统可操作性方面目前我们有一些反馈,和雅虎等等这样的公司一起做。
   
第二个问题,在商业模型方面,中国移动在研究,我们认为世界上有很多先行者这方面做了很多探索,至少给我们参考,有一些做SAS系统商业模式相对成熟,我们认为商业模式至少我们有信心。但是PAS方面我们也在研究,至少从目前来讲,我们觉得容易推进是两方面,在一些专业领域,一些提供网站的虚拟网站建立,或者是比如提供一些专门对于商业智能方面的PSA平台,这些专业性比较强的PSA服务比较明显,私有云里面使用PAS我个人认为应该是相对比较容易实现,因为很大程度规避商业模式不足。

提问:PAS一般是IT公司强项。

孙少陵:大云是开放平台,如果有其他的能够满足我们要求,而且能够满足我们标准化要求,可以集成进来。我们现在内部工作实际两条线,一方面是我们开发大云系统,在座有做云计算主流厂家应该参加我们云计算企业标准制订,包括HPIBM包括华为等等这样的公司。我们未来希望在中国移动云计算环境里会容纳所有厂家智慧。我们这个系统是要开放的,但前提必须标准。


一键分享:

在线客服