云计算Spark集群搭建教程

云计算Spark集群搭建教程。

集群规划：

节点 Spark
node1 1（master）
node2 1（worker）
node3 1（worker）
node4 1 (客户端)

1、上传安装包，解压到/home/目录下；

2、在hadoop1主机上，进入/home/spark-1.6.0-bin-hadoop2.6/conf 目录下，修改spark-env.sh 文件（如果没有该文件，则将spark-env.sh.template修改为spark-env.sh），添加如下配置：

export SPARK_MASTER_IP=node1

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=2

export SPARK_WORKER_MEMORY=1g

注：7077是master节点与worker节点进行通信的端口，默认是7077。另外spark提供了webUI的界面，默认端口是8080，在${spark-home}/bin/start-master.sh中配置。

3、在同一个目录下，修改slaves文件（若没有slaves文件，则修改slaves.template为slaves），删除原有配置，添加如下配置：

node2

node3

4、将hadoop1上配置好的安装包，同步至hadoop2、hadoop3两台主机上。

[root@node1 home]# pwd

/home

[root@node1 home]# scp -r spark-1.6.0-bin-hadoop2.6/ node2:`pwd`

[root@node1 home]# scp -r spark-1.6.0-bin-hadoop2.6/ node3:`pwd`

5、启动Spark集群：在master节点（node1）上，进入/home/spark-1.6.0-bin-hadoop2.6/sbin 目录，执行启动命令：

[root@node1 sbin]# ./start-all.sh

注意：启动的时候，要注意添加路径，因为脚本名称和hadoop集群的脚本名称相同，故此处要指明脚本的路径。

6、使用jps命令查看各节点上的进程，验证集群是否启动成功。

或

访问Web管理界面，验证是否搭建成功。https://192.168.152.101:8080/

附：在实际使用的时候，一般不在spark集群（即本文的 node1~node3 主机）上直接提交作业，而是在一台专门的客户端加上去提交。 下面以 node4 作为客户端，说明客户端的搭建和使用方式。

其实spark客户端的搭建与使用十分简单，只需要把spark的安装包拷贝至客户端上即可， 拷贝完成后，就可以在客户端进行提交任务的操作。

在node1主机上，执行如下命令，将spark的安装包拷贝至客户端：

scp -r /home/spark-1.6.0-bin-hadoop2.6 node4:`pwd`

Spark任务提交命令（standalone模式下）：

./spark-submit --master spark://node1:7077 --deploy-mode client --jars ../lib/spark-examples-1.6.0-hadoop2.6.0.jar --class org.apache.spark.examples.SparkPi 100

Spark on Yarn：

说明：

1、在standalone模式下，资源调度与任务执行的节点分别叫做 master和worker ;

在yarn模式下，负责资源调度与任务执行的接口分别叫做 resourcemanager 和nodemananger。

2、将spark应用提交到yarn上时，没有用到standalone集群，所以standalone集群可以关闭。

要将spark应用提交到yarn上运行， 需进行两项准备工作：

1、提前将yarn和hdfs启动（启动hdfs的目的在于：在提交任务时，spark框架会将jar包上传到hdfs集群上，这样各个计算节点就可以从hdfs集群上获取jar包，以进行计算任务，hdfs此时的作用相当于ftp服务器），可将hadoop集群启动，也可以单独启动hdfs和yarn。

start-all.sh

2、修改客户端配置：spark-env.sh ， 指定hadoop配置文件的目录（任务执行前，会向resourcemanager申请资源。spark框架会从此项配置中获取resourcemanager运行在哪个节点上）。

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

准备工作做好之后，就可以提交命令，将spark应用提交到yarn上运行了

./spark-submit --master yarn--jars ../lib/spark-examples-1.6.0-hadoop2.6.0.jar --class org.apache.spark.examples.SparkPi 100

关于--master的说明， 有三种取值：

(a) yarn-client 以客户端方式提交

(b) yarn-cluster 以集群方式提交

(c) yarn 等同于 yarn-client