弄清Spark、Storm、MapReduce的这几点区别才能学好大数据

很多初学者在刚刚接触大数据的时候会有很多疑惑，比如对mapreduce、storm、spark三个计算框架的理解经常会产生混乱。

哪一个适合对大量数据进行处理？哪一个又适合对实时的流数据进行处理？又该如何来区分他们呢？

我对比整理了这3个计算框架的基本知识，大家可以了解一下以便对这个3个计算框架有一个整体的认识。
大数据学习群119599574

mapreduce

• 分布式离线计算框架

• 主要适用于大批量的集群任务，由于是批量执行，故时效性偏低。

• 原生支持 java 语言开发 mapreduce ，其它语言需要使用到 hadoop streaming 来开发。

spark

• spark 是专为大规模数据处理而设计的快速通用的计算引擎，其是基于内存的迭代式计算。

• spark 保留了mapreduce 的优点，而且在时效性上有了很大提高，从而对需要迭代计算和有较高时效性要求的系统提供了很好的支持。

• 开发人员可以通过java、scala或者python等语言进行数据分析作业编写，并使用超过80种高级运算符。

• spark与hdfs全面兼容，同时还能与其它hadoop组件—包括yarn以及hbase并行协作。

• spark可以被用于处理多种作业类型，比如实时数据分析、机器学习与图形处理。多用于能容忍小延时的推荐与计算系统。

storm

• storm是一个分布式的、可靠的、容错的流式计算框架。

• storm 一开始就是为实时处理设计，因此在实时分析/性能监测等需要高时效性的领域广泛采用。

• storm在理论上支持所有语言，只需要少量代码即可完成适配。

• storm把集群的状态存在zookeeper或者本地磁盘，所以后台进程都是无状态的（不需要保存自己的状态，都在zookeeper上），可以在不影响系统健康运行的同时失败或重启。

• storm可应用于--数据流处理、持续计算（持续地向客户端发送数据，它们可以实时的更新以及展现数据，比如网站指标）、分布式远程过程调用（轻松地并行化cpu密集型操作）。

 

如何用4个月学会hadoop开发并找到年薪25万工作？

 

 

免费分享一套18年最新hadoop大数据教程和100道hadoop大数据必会面试题。

大数据学习群119599574

教程已帮助300+人成功转型hadoop开发，90%起薪超过20k，工资比之前翻了一倍。

由百度hadoop核心架构师（t7级别）亲自录制。

内容包括0基础入门、hadoop生态系统、真实商业项目实战3大部分。其中商业案例可以让你接触真实的生产环境，训练自己的开发能力。