Spark初学之环境搭建讲解
程序员文章站
2022-06-22 20:42:54
接触过一点点hadoop与hive,但是没有真正写过mapreduce。 希望能学习下spark。
今天学习到了spark的介绍,首先当然是与hadoop的对比。每个学习的都会知道hadoo...
接触过一点点hadoop与hive,但是没有真正写过mapreduce。 希望能学习下spark。
今天学习到了spark的介绍,首先当然是与hadoop的对比。每个学习的都会知道hadoop的mapreduce处理的中间数据会存放在磁盘上,但是spark是存在内存中,只是这点已经在处理过程中的读写速度比出来了。而且现在主流的大公司都用spark,所以真的希望能好好学学~
首先搭建环境 linux系统选了centos6;
jdk 8;
spark 2.6.0
hadoop 2.6.0
hive 2.2.0
scala 2.10.2
下一篇: PHP中余数、取余的妙用