Spark初学之环境搭建讲解
程序员文章站
2022-03-27 21:47:39
接触过一点点hadoop与hive，但是没有真正写过mapreduce。 希望能学习下spark。
今天学习到了spark的介绍，首先当然是与hadoop的对比。每个学习的都会知道hadoo...
接触过一点点hadoop与hive，但是没有真正写过mapreduce。 希望能学习下spark。
今天学习到了spark的介绍，首先当然是与hadoop的对比。每个学习的都会知道hadoop的mapreduce处理的中间数据会存放在磁盘上，但是spark是存在内存中，只是这点已经在处理过程中的读写速度比出来了。而且现在主流的大公司都用spark，所以真的希望能好好学学~
首先搭建环境 linux系统选了centos6;
jdk 8;
spark 2.6.0
hadoop 2.6.0
hive 2.2.0
scala 2.10.2