欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

亚马逊AWS推出大数据处理实例

程序员文章站 2022-05-29 18:12:49
  不断增长的大数据分析趋势已经被亚马逊看在眼里,AWS目前已经推出一项存储包,称之为高存储(High Storage),可以为大量数据的访问提供更快的速度。   高存储是亚马逊...

  不断增长的大数据分析趋势已经被亚马逊看在眼里,AWS目前已经推出一项存储包,称之为高存储(High Storage),可以为大量数据的访问提供更快的速度。

  高存储是亚马逊EC2(弹性计算云)的一个包,其设计目的是为了满足密集数据分析工作的需要,例如地震分析,日志分析、数据储仓等。建立在一个并行文件系统架构上,可以让数据在多个硬盘上能被非常快速的写入或输入,加快吞吐时间。

  “这个系列里的每个实例都可以提供很高的存储密度,对于在大量数据方面的需要高速I/O性能的应用程序来来说非常适合。”AWS在其市场营销文献里称。这一服务被作为其Elastic MapReduce服务的一个补充来销售(Elastic MapReduce为Hadoop大数据分析提供平台)。AWS自己也在使用高存储实例来支撑其Redshift数据仓储服务。

  每个AWS实例都是由一组计算单元、内存、存储和其他为特殊类型工作负载定制的服务模式组成。高存储是AWS推出的第九类计算实例。它加入了一些其他的为特殊工作服务负载定制的实例类型,比如定制的GPU使用实例和高性能计算方面的实例。

  高存储实例提供了其计算能力的35个计算单元、117G工作内存。高达48TB的存储空间分布在24个直接连接的存储硬盘驱动器上。将数据在多个硬盘上散布可以加快数据传输速度,因为单个硬盘的读写速度已经不再是瓶颈。该系统可以提供每秒超过2.4GB的顺序I/O性能。

  客户可以从AWS管理控制台唤起高存储实例,可以从EC2弹性MapReduce的命令行,或是AWS SDK,或是第三方库。高存储实例目前在美国东海岸已经可用,在未来数月内在世界其他地区也将可用。

  为了进一步帮助潜在的大数据客户,亚马逊上个月宣布其数据传输线已经对普通用户开放。

上一篇: 打酱油

下一篇: 讨厌的邻居