欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

大数据不等同于Hadoop

程序员文章站 2023-02-15 16:49:14
Hadoop一直是一个较为热门的词汇。Hadoop最初是Yahoo公司为了处理海量数据而开发的一款开源架构。在许多人眼里,大数据一词与Apache的Hadoop几乎同义。随着越来越多的企业对大数据逐渐...

Hadoop一直是一个较为热门的词汇。Hadoop最初是Yahoo公司为了处理海量数据而开发的一款开源架构。在许多人眼里,大数据一词与Apache的Hadoop几乎同义。随着越来越多的企业对大数据逐渐熟悉,可以预计2013年管理大数据的各类方案将会成为业界热点。

RainStor CEO John Bantleman曾提醒各IT企业注意一点,虽然Hadoop为现今热门的大数据处理技术,但大数据作为一个IT业难题仍需要更高效的方案来解决。毫无疑问Hadoop将会被企业广泛接受,但Bantleman指出,当大数据相关难题层出不穷时,企业更倾向于使用其他平台的特定大数据应用以处理特定问题。

例如,RainStor就研发了一款高效处理大数据业务的应用,处理量可达PB级别且速度远高于批处理式Hadoop集群。RainStor还利用了数据压缩和去重技术将数据存储于一个名为partitions的大型区块中,能以高达95%的幅度减少大数据应用对存储器的影响。RainStor可用SQL、BI工具或MapReduce直接查询残留数据而不必将其重建。

与必须掌握MapReduce或一些置于Hadoop顶层的混合SQL实例不同,RainStor支持传统SQL程序,因而IT企业不必花大价钱招聘相关专家和数据科学家来运行Hadoop或投资一些昂贵又难以管理的巨型并行数据库系统。

Hadoop的确为发掘发数据潜在价值做出了贡献,但在新的一年里情况将会发生变化。还在苦于掌握Hadoop技术的企业将会发现Hadoop只是许多大数据管理平台中的一个解决方案。可以预见今后会有大量数据库平台登陆企业并处理大数据问题,Hadoop并不是大数据的唯一解决方案,并不等同于Big Data。