7个大数据流言——避免错误的Hadoop和云分析决策

Hadoop是由英雄们创造的开源传奇，然而传奇经常还伴随着一些流言——这些流言可能会导致IT高管们带着乐观的心态去制定策略。

数据体积和数据使用在以惊人的速度增长着，这一点从分析师的分析中不难获得——IDC今年在数据存储上的 增长速度将达到53.4%，AT&T声称 无线数据的流量在过去的5年内增长200倍，如果你着眼自己通信渠道的话，将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长。这也是为什么 从McKinsey到Facebook再到Walmart都重点聚焦于大数据。

就像我们看到的90年代与2000年代的互联网泡沫，大数据同样会导致一些公司做出糟糕的设想和决策。

Hadoop毫无疑问是公司为了解决大数据需求的主要投资领域之一，而类似Facebook这些在大体积数据处理上有所建树的公司都公开的吹捧过在Hadoop上取得的成功，同样初入大数据领域的公司也必先着眼这些成功的典型。Adam Bloom的一个MIT(麻省理工学院)计算机科学校友曾对他说：“when all you have is a hammer, everything looks like a nail。”通过Hadoop的炒作，我们可以避免 功能固着(functional fixedness)这种认知偏差。 Hadoop是一个多维的解决方案，可以通过不同的方式进行部署和使用。下面就看一下公司在开始Hadoop项目之前必须了解的一些关于Hadoop和大数据的预先构想的错误理念：

1. 大数据只关系到体积

在体积之外，许多工业先锋还经常提到 variety(多样)、variability(可变)、velocity(速度)和value(价值)。撇开所有单词都押头韵，关键点在于大数据并不是体积上的增长——它正在向着实时分析、结构化和非结构化来源方向发展，并被用于尝试和制定更好的决策。综上所述，不是只有分析大体积数据才会获得价值。举个例子，超时限的存储和分析1PB的数据的价值可能比不上实时分析1GB的数据。从工具集上考虑，你可能需要一个内存数据网络进行实时的分析，从新鲜的数据上获得价值，而不是去解剖过时的数据获得价值。

2. 传统SQL不可以在Hadoop上使用

当Facebook、Twitter、Yahoo!在Hadoop上豪赌时，他们同样知道HDFS和MapReduce受限于处理类似SQL语言的能力，这也是 Hive、 Pig和 Sqoop最终得以孵化的原因。基于全球上大量的数据都是通过SQL来管理，一些公司和项目都在Hadoop和SQL的兼容上狠下功夫。

3. 取代大型机!Hadoop是唯一的新IT数据平台

在IT投资组合里有很多一直长期存在的投资，而大型机就是这么一个例子，与ERP、CRM和SCM这些系统一样演变至今。而如果大型机不想被公司或者架构遗弃，它就必须展示在现有投资环境中的价值。而VMware的许多客户在使用大型机上都遇到了速度、规模和开销的问题，但是并不是没有途径去解决这些问题，比如像vFabric SQLFire这样的内存大数据网络就可以被嵌入或者使用分布式缓存途径去解决类似队列的高速摄娶促进大型机的批处理或实时分析报告这些问题。

4.虚拟化会导致性能下降

Hadoop最初的设计只是在实体服务器上运行，然而随着越来越多机构的采用，许多公司都希望它能作为数据中心服务在云中运行。为什么这么多的公司都希望虚拟化Hadoop?首先要考虑管理基础设施的扩展性，VMware快速的认识到扩展计算资源，比如虚拟Hadoop节点，当数据和计算分开时会对性能有所帮助，否则如果你关闭某个Hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。而鉴于这个原因，许多来自MapR、Hortonworks、Cloudera和Greenplum的专业Hadoop发行版都支持 Project Serengeti和 Hadoop Virtualization Extensions(HVE)。

5. Hadoop只可以在数据中心运行

首先，存在SaaS云服务解决方案。许多云服务允许你云端运行Hadoop、SQL，这无疑可以帮助你省下数据中心建造投资的时间和金钱。对于一个公有云运行时，Java开发者可以从Spring Data for Hadoop以及一些其它的GitHub中的用例获益。

6. Hadoop对虚拟化毫无经济价值

Hadoop通常解释在一堆商用服务器上运行，这样就会有人认为添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益。用这个观点看是存在缺陷的，你并没有考虑到数据和数据分析事实上都是动态的。想成为一个利用Hadoop能量去成长、创新及创造效率的公司，你必须改变数据的来源、分析的速度等等。虚拟化基础设施同样可以减少物理硬件的封装，让CAPEX直接等于纯粹的商用硬件，而通过自动以及更搞笑的利用共享基础设施同样可以减少OPEX(运营成本)。

7. Hadoop不可以在SAN或NAS上运行

Hadoop在本地磁盘上运行，对于中小型集群它同样可以在一个共享的SAN环境下运行良好。而高带宽比如10GB Ethernet、PoE以及iSCSI对性能同样有很好的支持。

总结

宣传异或是炒作只能作为接受新事物的参考，在做决策之前必须进行深入的了解和分析。被流言所迷惑而做出错误的决策，必然会让投资陷入危险的境地。