欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

云计算联手大数据双轮驱动IT技术变革

程序员文章站 2022-07-02 21:40:47
  近年,随着云计算(Cloud Computing)的崛起,智能终端的普及以及与嵌入式系统所带来的大数据(Big Data)浪潮,有许多业内人士认为,与这些应用发展有关的是储存、网络等...

  近年,随着云计算(Cloud Computing)的崛起,智能终端的普及以及与嵌入式系统所带来的大数据(Big Data)浪潮,有许多业内人士认为,与这些应用发展有关的是储存、网络等硬件厂商,或是数据分析的软件厂商,但实际上,每台电脑、手机、服务器或储存装置同时间所能处理的数据量,也和本身的执行性能是否够强大有关。

  而作为处理器制造商的Intel,今年8月在泰国曼谷举办的Cloud Summit 2012,也针对上述两个趋势,发表了看法,并通过过去各项统计数据,分析数据中心未来将面临的瓶颈。

  数据大量的成长,未来面临PB等级的数据运算

  Intel亚太区暨中国数据中心与网络系统事业群总经理Jason Fedder表示,目前全世界包括计算机、手机与平板计算机等,共有超过10亿个装置,随着这些装置的增加,也带来数据应用的爆炸性成长,例如网络传输的数据量剧增,储存的需求也大幅度成长。

  根据该公司的统计与预测,到了2016年,不论是网络、储存设备、工作站,或是高效能运算等环境的处理器,都会比2011年的需求量高出一倍,并且对稳定性与效能的要求都更高。

  以汽车制造商BMW为例,他们在2010年所要管理的,是9万5千名员工的计算机,到了2012年,却要面临着1百万、甚至1千万辆车用计算机的联机,而且这些计算机都内建多种传感器,搜集行车过程的各种资料,因此后端数据中心的分析、运算能力,以及能源的需求,都面临着巨大的挑战。

  Intel 2015年的云端愿景

  在Intel Cloud Summit 2012的活动中,Intel提出了2015年的云端愿景,其中包括自动化(Automated)、客户端感知(Client Aware)、联合作业(Federated)等3大要素。

  另外,Jason Fedder在活动中提出了Intel在2015年的云计算应用愿景,包括可减少IT人员管理工作的自动化(Automated)、自动判别客户端装置的感知能力(Client Aware),以及可跨越公有云与私有云的联合作业(Federated)。

  其中,客户端感应可以自动判别使用户所使用的装置与数据类型,包括手机、平板、笔电,以及行车计算机等;联合作业则是将数据先在私有云内汇整,最后才在公有云发布供使用存取,而自动化则让IT人员可以更专注在创新的服务上,而不会浪费在系统的管理上。

  储存与运算的数据大幅度成长,需要更高运算效能

  拜储存技术成长所赐,现阶段在个人计算机上常见的储存容量是以GB、TB为计算单位,一些企业甚至可能会有多达数千TB的硬盘容量,也就是PB等级的数据量,而数据量大幅度成长的同时,若想分析这些数据,方法也和过往不同。

  就传统的分析方式而言,常见的作法都是定期处理,而且是有特定目的或方向,因此偶尔才会面临大量复杂数据处理的需求;而在当前大数据的时代下,我们要做到的是实时的数据分析。同时,因为数据类型来源不只是传统计算机与设备,还有各种智能型手机,以及不同的感测装置,例如车用计算机的GPS定位信息、驾驶行车的各种数据,或是道路影像系统的分析等。因此,目前系统可搜集的数据源,都与过往有很大的差异,而且数据型态往往含有大量非结构化的内容,因此在这些数据的处理上,与传统的作法(如数据库和数据仓储应用)显然有很大差异。

  为了因应如此大量的数据运算,现今的处理器在运算效能的提升上,已经陆续采用相当多的技术,其中最显而易见的作法就是内建多核心的技术。

  在过去,处理器都仅内建单一核心,一切的运算都是由这个核心来执行,而Intel在2005年推出了第一款双核心的Xeon处理器,将处理器从单核心推向多核心,而这对运算效能的改进,就好比增加人手一般。

  原本单颗核心的架构,同一时间只能做一个运算,完成之后才能进行下一个,处理器若要加快指令周期,就只能仰赖频率速度的提升。但是,在相同频率的条件下,如果处理器可同时进行多个运算,在效能上就有机会大幅度成长。

  以Intel目前新一代的服务器等级处理器Xeon E5系列,所配备的核心数量最多可到8个之多,加上可搭配他们自己发展的超线程技术,从操作系统的角度来看,在一台单路服务器上,最多则能够运用16个核心,如果是2路服务器,则能够拥有32个运算核心。

  在处理器的频率速度方面,目前普遍都在2GHz到3GHz之间,最高的基础频率速为3.3GHz,透过Turbo Boost技术所自动超频的频率则达3.5GHz,这样的高频率规格,也让计算机或服务器运算的速度提升许多。这样的技术不只是用作自动提升频率,还可让闲置的处理器核心关闭运作,待有运算需求时再提升或重新启动,以减少处理器的电力损耗。

  此外,随着处理器自身内建的核心越来越多,频率没有减少的情况下,,系统的耗电量并没有因此提升,这主要是受益于处理器制程技术的提升。

  以目前的技术来看,Xeon系列处理器上一代是45奈米制程,目前则是全面演进到32奈米,而且这些处理器的热设计功耗最低仅有60瓦,最高则有135瓦,和过去相比,当时的处理器核心数较少,且热设计功耗相当,甚至较高的情况下相比,目前的处理器等于拥有更佳的运算效率,整体耗电量又可减少许多。除此之外,新一代处理器不断加强与周边装置的连接速度与带宽,这也带动另一层面的效能提升。

  藉由核心增加、让它们自动依照使用情况来调整运作状态,让单处理器的运用,达到相当于多颗处理器的效能,再加上频率速度的提升,以及制程技术的改进,现在我们对于处理器的使用,是足以面对如此大量运算数据的增加,而且耗电量不会因此提升。

  高效能处理器在各种设备上普及

  根据Intel的统计与预测,到2016年的时候,不论是网络、储存设备、工作站或是高效能运算等环境的处理器,都会比2011年的需求量高出一倍,并且势必对稳定性与效能的要求都更高。

  最近几年来,我们看到不只是服务器采用x86架构的处理器,有越来越多原本搭配专属处理器的设备开始跟进采用,例如储存设备与网络设备。例如2007年时,Xeon系列处理器仅使用在服务器等级产品上,但现在已经有不少储存设备与网络设备,也都开始用这系列处理器。

  另一方面,目前全球的移动设备与个人计算机数量都呈大幅度的增加,甚至各种内建计算机的装置数量,都快速成长,而这些装置基本上都随时处于联机的状态,也就是随时都有数据传输的需求,因此各个数据中心所要处理的数据量、网络带宽越来越高。而对于一般人的日常生活而言,我们接下来所要面临的是更无所不在的e化应用,这将会是所谓的智能城市。我们在日本NEC Solution Fair中所看到的智慧城市应用,以及IBM过去几年所提出的Smart City,都是基于相同的概念。

  智慧城市的概念,就是生活中,随时随地都会存在着内建感测接收与发送,或是计算机与手机等装置。例如具有车用计算机的汽机车、可透过摄影机分析观众性别年龄的信息广告牌,或是能自动分析交通路况的监视器等。

  随着这些包含传统计算机、各式移动设备、感测与记录装置的计算机普遍受到应用,连带所产生的数据量非常庞大,而这就是接下来将面临的大数据趋势。

  事实上,大数据的冲击并不只是挑战后端系统的负荷能力、软件功能和储存空间耗用,或是只和IT人所熟悉的基础架构虚拟化技术有关,它和上述的连网装置大量应用也是密不可分的。因此在这样的条件下,不论装置是实体、虚拟,是固定位置或持续移动,在接收、发送与处理这些数据的时候,也都必须透过处理器来运算与处理,因此能否因应这些冲击,也与处理器的能耐有关。

  用处理器建立智慧城市的运算基础

  在现在的生活中,因为移动设备普及,加上行车计算机、交通监视器与空气质量侦测装置等,各种充斥在生活中的感测装置,让我们生活中随时都有大量的数据在传送,而Intel认为,只要在这些不同的情境中,选择适当的与合适的处理器,就可以兼顾效能与节能,因此他们的处理器从热设计功耗仅有6瓦的Atom,到高达150瓦的高效能Xeon处理器都有,就是为了让各种不同等级的应用,都有合适的处理器选择。

  不同规模、属性的产品,因应运算需求

  面对大数据、虚拟化,以及节能等趋势,目前Intel除了透过处理器提升来提高效能、降低耗电,还企图结合网络、安全防护、储存装置,以同时达到提升速度、减低数据传输的瓶颈,以及能源的高使用率等目标。

  以服务器平台为例子,Intel Xeon系列的处理器,分成可适用于8路、4路、2路与单路服务器架构的产品;同时,他们也有耗电量仅6瓦,研发代号为Centerton的Atom处理器,主打入门级服务器、NAS与微型服务器;另外,Intel还有17瓦的Ivy Bridge笔电等级处理器。

  藉由提供不同等级的处理器,用户或系统厂商可以使用符合环境规模与运算效能需求的产品,以减少无谓的电力消耗,并提供适当的运算效能,而非*搭配高效能、高功耗的产品。

  此外,针对高效能运算(HPC)环境,Intel也预计在今年底推出采用MIC架构(Many Integrated Core Architecture)的新一代Xeon Phi处理器,将内建超过50组的运算核心。

  为了提高安全与效率,现阶段Intel也在部分处理器内,开始大量采用受信任执行技术(Trusted Execution Technology,TXT)与可信赖执行模块(Trusted Platform Module,TPM),藉由硬件内建的防护技术,提高恶意软件的防护效果。

  这几年来,Xeon处理器所陆续支持的多种传输规格,在实际应用上,也可望承载云计算与大数据带来的执行需求。

  这些技术所带来的性能提升,主要跟I/O存取相关。例如,可减低运算延迟的整合式I/O(Integrated I/O),以及较上一代规格提供2倍I/O带宽的PCIe 3.0接口、超高速的以太网络接口10GbE,都是为了提供更快的执行速度,并降低运算与数据传输瓶颈的各种规格。

  其他Intel处理器内建的功能部分,也有助于大数据的处理与云计算的应用,像是Intel虚拟化技术(VT),以及相关的周边装置直接存取技术VT-d、VT-C,这些都是Intel在许多处理器产品上所支持的指令集,可将原本需要透过软件执行的处理,直接由处理器来运算或协调,缩短实际执行过程。

  开放数据中心联盟的云端发展成熟度模型

  针对云端发展的开放数据中心联盟(Open Data Center Alliance,ODCA)预计,到了2013年左右,用户与应用程序开发者都会开始将SaaS从原本单纯的提供软件服务,开始转移到复合型态,并预计到了2015年,都会开始使用混合型态,而最终都会变成结合公有云与私有云的联合作业模式。

  配置I/O带宽更大的内部传输接口:PCIe 3.0

  处理器拥有高速运算效能的同时,还必须与周边装置有高速的传输信道,这些装置包括网络卡、光纤适配卡,或是工作站的专业绘图卡,而目前Intel在新一代的处理器中,都支持PCIe 3.0接口,透过最高双向8GB/s的数据传输规格,在处理器与网络、磁盘或专业绘图卡之间的I/O访问速度可提升。

  除了支持PCIe 3.0的高速传输规格之外,目前新一代的服务器处理器在本身与周边装置的传输接口上,都配置了5个PCIe ×8传输通道。

  就像处理器支持的内存一样,在支持高速传输的同时,通道数量也增加,让采用这些处理器的服务器,可安装更多支持高速传输的装置,不会受制于接口带宽,而无法发挥这些装置该有的效能。

  提高内存频率与信道数,增进系统存取能力

  在大数据与云计算应用趋势的冲击下,有许多应用软件的执行,都采用In-Memory的作法,包括In-Memory Database、In-Memory Analytic等,系统对于内存的速度与容量要求都越来越高。

  目前Intel新一代处理器都内建4个内存信道,比以往的3信道还多,而内存信道数量较多的意义,就在于处理器和内存之间的存取可同时拥有多条管道可同时传送数据。

  目前最新的Intel Xeon系列处理器,所支持的DDR3内存频率包括800、1066、1333与1600MHz等,以目前最高的频率1600MHz的内存而言,换算起来的内存带宽约为12GB/s,再加上它们支持4信道的规格,也就是让处理器与内存之间拥有4条数据传输管线,而这种大带宽与多通道的设计,更有效发挥高频率与多核心处理器的潜能。

  另一方面,在支持的内存容量方面,目前新一代的Xeon E5系列处理器可支持的内存容量高达768GB,比起前一代支持的最高288GB还要大,而Xeon E7系列处理器甚至可支持到2TB,这对大数据处理或是大量虚拟机的应用,都相当有利