欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

Spark初学之环境搭建讲解

程序员文章站 2022-06-22 20:42:54
接触过一点点hadoop与hive,但是没有真正写过mapreduce。 希望能学习下spark。 今天学习到了spark的介绍,首先当然是与hadoop的对比。每个学习的都会知道hadoo...

接触过一点点hadoop与hive,但是没有真正写过mapreduce。 希望能学习下spark。

今天学习到了spark的介绍,首先当然是与hadoop的对比。每个学习的都会知道hadoop的mapreduce处理的中间数据会存放在磁盘上,但是spark是存在内存中,只是这点已经在处理过程中的读写速度比出来了。而且现在主流的大公司都用spark,所以真的希望能好好学学~

首先搭建环境 linux系统选了centos6;

jdk 8;

spark 2.6.0

hadoop 2.6.0

hive 2.2.0

scala 2.10.2