大数据不等同于Hadoop
程序员文章站
2022-06-03 19:13:51
Hadoop一直是一个较为热门的词汇。Hadoop最初是Yahoo公司为了处理海量数据而开发的一款开源架构。在许多人眼里,大数据一词与Apache的Hadoop几乎同义。随着越来越多的企业对大数据逐渐...
Hadoop一直是一个较为热门的词汇。Hadoop最初是Yahoo公司为了处理海量数据而开发的一款开源架构。在许多人眼里,大数据一词与Apache的Hadoop几乎同义。随着越来越多的企业对大数据逐渐熟悉,可以预计2013年管理大数据的各类方案将会成为业界热点。
RainStor CEO John Bantleman曾提醒各IT企业注意一点,虽然Hadoop为现今热门的大数据处理技术,但大数据作为一个IT业难题仍需要更高效的方案来解决。毫无疑问Hadoop将会被企业广泛接受,但Bantleman指出,当大数据相关难题层出不穷时,企业更倾向于使用其他平台的特定大数据应用以处理特定问题。
例如,RainStor就研发了一款高效处理大数据业务的应用,处理量可达PB级别且速度远高于批处理式Hadoop集群。RainStor还利用了数据压缩和去重技术将数据存储于一个名为partitions的大型区块中,能以高达95%的幅度减少大数据应用对存储器的影响。RainStor可用SQL、BI工具或MapReduce直接查询残留数据而不必将其重建。
与必须掌握MapReduce或一些置于Hadoop顶层的混合SQL实例不同,RainStor支持传统SQL程序,因而IT企业不必花大价钱招聘相关专家和数据科学家来运行Hadoop或投资一些昂贵又难以管理的巨型并行数据库系统。
Hadoop的确为发掘发数据潜在价值做出了贡献,但在新的一年里情况将会发生变化。还在苦于掌握Hadoop技术的企业将会发现Hadoop只是许多大数据管理平台中的一个解决方案。可以预见今后会有大量数据库平台登陆企业并处理大数据问题,Hadoop并不是大数据的唯一解决方案,并不等同于Big Data。