云计算基础设施建设的关键分析
直连存储即我们常说的DAS(Direct-attachedstorage),通常指那些安装在服务器内部或者安装在与服务器直接相连的扩展盘柜中的存储介质。DAS存储与服务器之间必须有固定的绑定连接关系,因此它们之间不存在网络结构,而是直接进行数据的读写。
在服务器与存储的各种连接方式中,DAS曾被认为是一种低效率的结构,而且也不方便进行数据保护。直连存储无法共享,因此经常出现的情况是某台服务器的存储空间不足,而其他一些服务器却有大量的存储空间处于闲置状态却无法利用。如果存储不能共享,也就谈不上容量分配与使用需求之间的平衡。
DAS结构下的数据保护流程相对复杂,如果做网络备份,那么每台服务器都必须单独进行备份,而且所有的数据流都要通过网络传输。如果不做网络备份,那么就要为每台服务器都配一套备份软件和磁带设备,所以说备份流程的复杂度会大大增加。
与直连存储架构相比,共享式的存储架构,比如SAN(storage-areanetwork)或者NAS(network-attachedstorage)都可以较好的解决以上问题。于是乎我们看到DAS被淘汰的进程越来越快了。可是到目前为止,DAS仍然是服务器与存储连接的一种常用的模式。事实上,DAS不但没有被淘汰,近几年似乎还有回潮的趋势。今年,随着EMC公司宣布推出一款基于PCIExpress(PCIe)的固态存储产品(EMC的设计是希望用它来储存一些服务器本地的数据),DAS的复苏进程进入高潮阶段。
SAN和NAS的实际表现低于人们的期望
到目前为止,DAS存储结构依然存在的一个原因是SAN和NAS表现不佳,在预期和现实之间存在着巨大的落差。人们对SAN架构的期望很高,希望通过SAN方便的创建一个全局存储资源池,以便将容量动态的分配给前端的服务器,实际用多少就分配多少。可是,在SAN架构技术出现的最初8年左右时间里,我们距离这种目标依然遥远。至今,SAN存储仍然不得不为每台服务器划分出一个独立的存储分区。当某台服务器需要更多存储空间的时候,必须再划出一个新的分区并指定给该服务器,在服务器端,还要将新分区和已有的分区连接在一起使用。糟糕的是,新分区和原有分区的管理是彼此独立的。所以实际上,在SAN环境中为一台服务器增加存储空间的过程与之前DAS的那一套方法是非常类似的。
人们还期望SAN架构下的数据保护工作能够更简单一些。用户的目标是直接从SAN环境进行备份,而不必单独处理每一台服务器。可是,目前只有极少数的应用软件能够帮助用户精确的实现这一功能,而在大多数情况下,我们只能盲目的备份数据,却并不知道备份出来的数据到底是些什么。用户很快意识到他们其实需要一种叫做“应用感知”的技术,该技术能够帮助他们备份在线的应用,并且执行智能化的恢复操作。可前提是用户需要在服务器端安装特定的备份软件。
最后还要说明的一点是,SAN和NAS产品的价格仍然远远高于DAS。许多用户出于价格因素考虑选择了低效率的直连存储而不是高效率的共享存储。
客观的说,现在的SAN和NAS系统已经可以利用类似自动精简配置(thinprovisioning)这样的技术来弥补早期存储分配不灵活的短板。然而,之前它们消耗了太多的时间来解决存储分配的问题,以至于给DAS留有足够的时间在数据中心领域站稳脚跟。此外,SAN和NAS依然问题多多,至今无法解决。
现在,SAN/NAS等共享存储架构发展的主要推动力来自于快速增长的服务器和桌面虚拟化应用,如果要实现虚拟机映像在物理主机之间灵活移动的话,后端需要搭建共享存储架构。在虚拟化环境中,虚拟机实际上就是一个大文件,因此应用感知(application-aware)和脱离主机备份(off-hostbackup)都是可行的,备份过程也不需要涉及物理主机部分。尽管共享存储架构有很多新增项目和重要的应用案例,但是,DAS结构在数据中心应用中依然存在,而且其价值还在不断提升。
启动系统需要DAS
DAS结构在数据中心环境依然流行的一个重要原因是系统需要本地的启动盘。虽然许多SAN环境已经具备各种形式的从SAN启动系统的方法,但这需要专用的主机适配器(HBA),而且SAN存储系统本身也必须支持这一功能才可以。所以我们看到,大多数物理服务器仍然从本地DAS存储启动系统。
责任编辑:顾林
在本页显示剩余内容除此之外,DAS还要感谢SSD固态盘的普及,从本地存储启动系统要比从SAN系统启动具有明显的优势。首先,从本地SSD盘上启动或重启系统只需要很短的时间(秒级),而且SSD盘还可以做虚拟内存交换页空间使用,这一点对虚拟化环境来说极为重要。在虚拟化环境中,当我们在主机上加载虚拟机时,内存会迅速耗尽,随即便开始使用本地存储上的内存交换页空间。如果本地存储使用的是普通硬盘,内存交换的性能会受到很大影响,而如果我们使用像FlashSSD这样的固态存储,那么性能的下降幅度则基本可以忽略不计。用SSD作为启动盘可以承载更多的虚拟机,而不必采购价格昂贵的内存。
用DAS来扩展SAN
在DAS市场复苏的过程中,固态存储还扮演了另外一个重要角色,即作为SAN之外的扩展。利用基于PCIe总线的固态存储的超高性能,IT系统存储架构正在向分层存储方向发展,或者直接将服务器需要的数据缓存在本地。PCIeSSD固态盘能够直接与CPU进行通讯,这一点与传统的SSD不同,传统的SSD在性能方面会受到SAS或SATA协议的羁绊。对于内存容量有限的系统来说,PCIeSSD无疑是一个理想的虚拟交换页空间,因此基于该技术的存储分层和数据缓存应用案例也越来越受到关注。
利用这种架构,存储系统就能够智能的将最活跃的数据预存在PCIeSSD盘中。之后,如果有应用程序或用户请求访问这些热点数据,存储系统就能够从PCIeSSD中用最快的速度响应数据访问请求。这就意味着应用程序和用户不必再等待他们的访问请求跨越存储网络,然后由存储系统的控制器接收并处理这些访问请求,再等着硬盘的磁头找到正确的磁道位置,最后经原路返回需要的数据或写操作确认。
如果一切按照预想发展的话,这种在SAN前端扩展DAS的设计模式将会颠覆传统SAN的世界。我们看到,SAN存储将变成信息的*仓库,其上存放的数据的活跃度会越来越低,而服务器本地基于PCIeSSD盘的DAS存储则用于处理最热的数据。因此,SAN存储将用来做数据的长期保存或备份,而服务器则负责处理活动的进程。这种结果带来的影响是,SAN存储的设计将更加偏重容量,而性能却变得不那么重要了。但是,目前的PCIeSSD技术还有一个短板就是无法作为系统启动盘使用,所以在服务器上插一块SAS硬盘或者普通的SSD盘还是有必要的。
DAS,云计算基础设施的关键
另一个促成DAS复苏的关键驱动力来自于大数据存储应用环境的设计。包括像Facebook、Google以及其他一些公司都涉及其中。他们设计的系统的特点是将计算资源和存储资源整合在单台服务器上,而多台服务器之间则通过高速网络进行互联通讯,服务器能够直接从本地存储*问所需的数据。他们甚至还会利用PCIeSSD与硬盘的组合来做系统启动。这些在线服务提供商以及互联网技术公司之所以选择这种设计,是因为这种架构具有极高的成本效益,而且在此架构下通过增加服务器做系统扩展也非常简单。
过去,有人曾认为这种DAS存储加计算的整合系统模式应用场景有限,只有那些具有大量在线应用的公司才会部署这种系统。然而现在的情况已有所不同。这里,我们不得不再次提到服务器虚拟化,因为服务器虚拟化应用需要运行在计算能力和存储能力可同时扩展的基础架构环境上。有些厂商,像Nutanix就可以提供一种内置存储的服务器集群产品,利用该产品能够快速的搭建起一套云计算基础设施,因此非常适合那些传统的数据中心。
服务器虚拟化环境仍然需要共享存储,用来实现虚拟机迁移和虚拟机高可用等功能。在这种共享存储架构下,数据可以在一个集群内不同节点间自动迁移,也就是说,一个虚拟机的映像可以在集群内任何一个节点上运行。这种“共享的DAS”模式既有本地存储简单、高性价比的特点,同时还可以提供很多SAN架构才有的优势。
如果DAS代表未来,那么SAN会消亡吗?
DAS不仅没有消失,而且发展得很好。许多存储业内专家都认为数据中心存储环境正在向着以DAS结构为主的方向发展。正如前文所描述的那样,未来SAN存储在数据中心的定位是作为数据长期保存的仓库,而真正活跃的数据都存放在服务器本地存储上。目前数据迁移管理软件成熟的很快,未来可以用于将活跃的数据保留在服务器本地。此外,这类软件还可以感知本地写操作,然后将新写入的数据同步到后端的SAN存储空间。
以DAS模式为主的存储架构被专家看好还有两个原因,即虚拟化应用环境对性能有较高的要求,以及SSD固态存储的高性能表现。前者是应用要求数据存储的本地化,而后者则是利用本地数据访问的高性能,尽量避免由于经过存储网络而产生的延迟问题。
利用好组合方案
同以往一样,存储管理员在应对存储应用挑战时依然有很多方案可以选择。但首先要有性能分析工具,它可以帮助我们对当前的环境进行调整。在决定下一步如何选择之前,重要的是尽量做好前期的准备工作并制定正确的决策。
如果因为预算或时间因素的限制无法升级网络或存储设施的话,我们可以走一条捷径,即构建SAN存储与SSDDAS存储混合使用的策略。这种方案通过消除存储网络瓶颈,可以最大化的发挥SSD的优势,从而在整体上获得性能提升。
如果预算不是问题,那么我们可以加大在存储网络和共享存储系统上的投资,比如今后想要减少性能方面的顾虑,用户可以选择一款全固态存储设备。当然,在后端存储系统优化的同时,利用DAS结构的SSD做启动盘和内存交换分区,优化前端的结构也是很重要的,这样就可以形成一套完整的高性能存储解决方案。
市场的表现也印证了数字百万高清将统领未来视频监控产品的局面。据调查显示,2011年上半年高清监控摄像机的出货量达到了90万台,预计2011年全年的高清摄像机出货量将保持100%的增长速度,年底有望达到200台,增幅将实现翻番。大多数监控设备生产厂商也乐观估计,在2015年,百万像素的数字高清摄像机将会超过摸拟摄像机,成为安防监控领域的霸主。高清监控领域,市场竞争不断催生新的机遇。
高清智能未来视频监控的发展趋势
自然灾害、工矿事故、交通事故、医疗事故、食品安全、突发事件等这些影响公共安全的因素,一直是*、社会及民众高度关注的问题。随着时代的发展,传统的模拟监控已经不能满足*、社会对安防监控质量的要求。在此背景之下,高清监控的呼声随之而起。
关于高清的定义,多数厂家借用数字电视领域中的“HDTV”概念,把满足720P、1080P、1080I格式的视频采集、传输、显示、记录设备称为高清设备,包括高清摄像机、高清编码器、高清监视器、NVR、高清解码器等设备,也包括配套的百万像素镜头。
在应用方面,经过近两年来的市场培育,高清产品的应用步伐已经明显加快,除了金融、交通行业的应用量加大之外,随着各地平安城市项目的建设,原有项目的升级改造,高清监控摄像机的应用范围也在逐年扩大,高清监控正在各行业、各领域发挥作用。
从过去的“看得见”,到现在的“看得清”,数字百万高清摄像技术的发展,为今后安防监控向网络化、高清化、智能化的发展打下了良好的基矗在高清监控所拥有的清晰画面中,可以实现智能分析,对监控画面场景中的人或物进行识别、对比、判断,并就异常现象对用户产生提示或报警,将目前视频监控大多数只起记录、录像,事故发生后回放查询的作用,改变为主动识别、报警,防患于未然。
竞争与机遇助推高清监控的未来之路
进入2011年以来,国内安防市场对高清监控的需求与日俱增,许多经济发达的大中型城市已经在广泛的行业领域应用高清或进行升级换代,高清摄像机的身影已经越来越多地出现在*单位、港口机尝银行学校、旅游景区等地方。未来,高清视频监控市场巨大,“钱景”广阔。
高清监控的巨大市场引得许多企业纷纷投入进来,种类繁多的高清产品更是如雨后春笋般涌向市场,随之而来的是市场竞争的硝烟日益浓重。统计数据显示:我国有能力生产各种摄像机的中小企业已达600多家,其中外资(包括港澳台)企业50多家,年生产各类监控摄像机1500多万台,产值120多亿元,创造的财富已占到全国安防GDP的8%左右。
激烈的市场竞争对于一些没有研发实力、效仿高清的企业来说,是一道难以跨越的鸿沟,因为他们无法面对不同于模拟监控时代的高清准入门槛,不能掌握核心技术,无法完成产品的更新换代与持续服务。但对于那些走在高清研发前沿的有实力的企业来说,掌握了核心技术,拥有强大的研发生产能力与技术服务能力,能随时应对技术的升级需要,成为高清时代的品牌企业。
竞争对产业的发展起到优化的作用,最终将促使国内安防监控行业会走向真正的成熟,厂家少而大,市场高度集中化、规范化。
高清时代民族品牌的崛起
经过30年的发展,目前中国的安防产业已经发展成为年产值近2000亿元人民币主要产业,并以每年超过25%的速度递增,在国际安防市场有着重要影响力的产业。在全球安防领域,中国企业的民族品牌的队伍也在日益壮大,许多中国安防企业开始把业务范围触及世界各地,用实力与信念,向不同肤色的人们,传递着中国安防品牌的价值。
中国飞速发展的安防产业得到了世界的认可。2011年深圳安博会后,全球安防产业联盟宣布,其总部将从华盛顿迁往中国深圳,美国安全工业协会将其亚太地区中心设立于深圳,三方将合作在深圳建立全球安防产业数据信息中心和全球安防技术与产品交易中心。
随着中国科技水平的不断提高和数字化时代大背景下,中国与全球发达国家在科技方面的差距将日益缩校在安防监控的高清时代,中国企业在全球安防市场中将占有重要席位,由中国企业自主研发的民族品牌高清监控产品将打破目前日韩、欧美占领市场主要份额的局面,在未来的安防监控市场上大放光彩。
物联网大战略给力中国安防产业腾飞
物联网用途广泛,遍及智能交通、环境保护、*工作、公共安全、平安家居、智能消防等多个领域。2011年物联网产业发展论坛发布的报告预计,未来五年全球物联网产业市场将呈现快速增长态势,年均增长率接近25%。保守预计,到2015年中国物联网产业将实现5000多亿元的规模,年均增长率达11%左右。
受惠于物联网发展大战略利好的影响,全国已有28个省市把物联网作为新兴产业重点扶持与发展,不少一线、二线大中城市正在建设或筹建物联网产业园,物联网安防领域的智慧城市、平安城市、智能交通等项目也已在许多城市搞得如火如荼。
据行业专家预测,国内物联网安防智能设备市场将以每年20%以上的速度增长,预计2015年市场规模将达到100亿美元。物联网大战略的发展,将给安防产业带来高速发展的第二个春天,从安防产品到系统方案,全面助力安防产业的腾飞。
在“国家电网公司2013年工业以太网交换机协议库存招标活动”中,没有一家全球或国内专业厂家中标,而在6家中标候选人中,有3家是非专业的工业以太网交换机生产厂商,另外3家不符合招标公告中的投标人资格条件。
据悉,此次招标分50个合同包,招标数为20142台工业以太网交换机。在此次招标中,占据市场份额80%的智能变电站用工业以太网交换机厂家罗杰康、赫斯曼、摩莎、东土科技等公司全部出局。根据公示,中标的6家候选厂家是:江苏金智科技有限公司、南京南瑞继保工程技术有限公司、南瑞科技股份有限公司、杭州迪普科技有限公司、国电南京自动化股份有限公司、北京华源格林科技有限公司。
按照国网物资公司招标公告中对于投标人的资格要求,投标资格人必须获得工业A类设备认证,且于2008年度~2012年度在国网公司需有100台设备运行一年以上的业绩。
据了解,江苏金智科技有限公司、南京南瑞继保工程技术有限公司、南瑞科技股份有限公司3家公司生产的交换机主要为自己的应用系统所使用,均不是专业的工业以太网交换机生产厂商。杭州迪普科技有限公司与国电南京自动化股份有限公司于2012年12月28日刚刚拿到电力工业电力设备及仪表质量检验测试中心的A类检测报告,满足不了100台设备在国网运行一年的业绩要求。而北京华源格林科技有限公司能满足此次招标设备技术要求的工业以太网交换机总出货量达不到100台,也不符合投标人资格。
有关业内人士认为,工业以太网交换机作为智能电网中智能变电站的保护、自动化系统的核心设备,设备的稳定性牵涉到智能变电站的安全运行,从长远看,这对我国智能变电站的安全发展极为不利。“工业以太网交换机对于智能电网运行安全至关重要,如果出现问题,可能会造成大面积停电等重大安全事故。”一位业内人士称。
自2009年开始建设试点智能变电站,国网公司一直高度重视工业以太网交换机设备,严格测试、严格把关,只有获得中国电科院(300215,股吧)与国网电科院核发A类设备认证报告的厂家设备才被允许应用于智能变电站中。
当时,仅有罗杰康公司(加拿大)、摩莎公司(*)、东土科技的工业以太网交换机设备可以用于智能变电站试点站中。后来,智能变电站开始大规模建设,又增加了赫斯曼公司(德国)。但在此次招标的中标候选人公示结果中,上述4家公司全部出局。
据业内人士介绍,工业以太网交换机作为通信设备在智能电网安全中的重要性,就像铁路信号通信设备对于高铁建设行车安全一样重要。该人士担忧,此次招标可能会在智能电网建设中埋下类似高铁“7·23”事件那样的重大安全隐患。