亚马逊AWS推出大数据处理实例
不断增长的大数据分析趋势已经被亚马逊看在眼里,AWS目前已经推出一项存储包,称之为高存储(High Storage),可以为大量数据的访问提供更快的速度。
高存储是亚马逊EC2(弹性计算云)的一个包,其设计目的是为了满足密集数据分析工作的需要,例如地震分析,日志分析、数据储仓等。建立在一个并行文件系统架构上,可以让数据在多个硬盘上能被非常快速的写入或输入,加快吞吐时间。
“这个系列里的每个实例都可以提供很高的存储密度,对于在大量数据方面的需要高速I/O性能的应用程序来来说非常适合。”AWS在其市场营销文献里称。这一服务被作为其Elastic MapReduce服务的一个补充来销售(Elastic MapReduce为Hadoop大数据分析提供平台)。AWS自己也在使用高存储实例来支撑其Redshift数据仓储服务。
每个AWS实例都是由一组计算单元、内存、存储和其他为特殊类型工作负载定制的服务模式组成。高存储是AWS推出的第九类计算实例。它加入了一些其他的为特殊工作服务负载定制的实例类型,比如定制的GPU使用实例和高性能计算方面的实例。
高存储实例提供了其计算能力的35个计算单元、117G工作内存。高达48TB的存储空间分布在24个直接连接的存储硬盘驱动器上。将数据在多个硬盘上散布可以加快数据传输速度,因为单个硬盘的读写速度已经不再是瓶颈。该系统可以提供每秒超过2.4GB的顺序I/O性能。
客户可以从AWS管理控制台唤起高存储实例,可以从EC2弹性MapReduce的命令行,或是AWS SDK,或是第三方库。高存储实例目前在美国东海岸已经可用,在未来数月内在世界其他地区也将可用。
为了进一步帮助潜在的大数据客户,亚马逊上个月宣布其数据传输线已经对普通用户开放。