spark1.1.0部署standalone分布式集群 博客分类： spark spark1.10

配置三个节点的spark集群，集群模式为standalone模式，其中sp1节点作为主节点，sp2节点和sp3节点为从节点。***注意所有操作均为root用户。



创建3个CentOS虚拟机，如下：
sp1 192.168.1.21 //master节点
sp2 192.168.1.22 //slave节点
sp3 192.168.1.23 //slave节点



配置/etc/sysconfig/network环境变量，如下：
在sp1节点上执行：vi /etc/sysconfig/network将HOSTNAME=localhost改成HOSTNAME=sp1
在sp2节点上执行：vi /etc/sysconfig/network将HOSTNAME=localhost改成HOSTNAME=sp2
在sp3节点上执行：vi /etc/sysconfig/network将HOSTNAME=localhost改成HOSTNAME=sp3



配置/etc/hosts主机名和IP地址映射关系，如下：
每个节点配置为：
192.168.1.21    sp1
192.168.1.22    sp2
192.168.1.23    sp3



关闭防火墙如下：
停止运行防火墙：service iptables stop
关闭防火墙自启动：chkconfig iptables off
验证防火墙是否关闭：chkconfig --list | grep iptables



生成ssh免密码登陆如下：
分别在每个节点上生成公钥私钥：
ssh-keygen -t rsa三次回车
cp id_rsa.put authorized_keys
将sp2节点和sp3节点的authorized_keys的内容复制到sp1节点上：
sp2节点上执行：ssh-copy-id -i sp1
sp3节点上执行：ssh-copy-id -i sp1
将sp1节点的authorized_keys(这个authorized_keys的内容是三个节点的公钥)的复制到sp2节点和sp3节点上：
sp1节点上执行：scp /root/.ssh/authorized_keys sp2:/root/.ssh/
sp1节点上执行：scp /root/.ssh/authorized_keys sp3:/root/.ssh/
配置ssh免密码登陆成功，验证如下：
sp1节点上执行：ssh sp2和ssh sp3
sp2节点上执行：ssh sp1和ssh sp3
sp3节点上执行：ssh sp2和ssh sp1



从网上下载jdk-6u45-linux-x64.bin文件，将这个文件使用WinSCP工具复制到sp1节点的/usr/local/jdk/下。



在sp1节点上安装jdk-6u45-linux-x64.bin，如下：
进入/usr/local/jdk/目录：cd /usr/local/jdk
为jdk-6u45-linux-x64.bin赋予执行权限：chmod u+x jdk-6u45-linux-x64.bin
将jdk-6u45-linux-x64.bin解压到/usr/local/jdk/文件夹下：./jdk-6u45-linux-x64.bin
将解压出来的jdk-1.6.43重命名为jdk6：mv jdk-1.6.43 jdk6
配置jdk到系统环境变量：vi /etc/profile添加内容如下：
export JAVA_HOME=/usr/local/jdk/jdk6
export PATH=.:$JAVA_HOME/bin:$PATH
使修改立即生效：source /etc/profile
验证jdk安装是否成功：java -version



从网上下载scala-2.9.3.tgz，spark-1.1.0-bin-hadoop2.4.tgz两个压缩包;将这两个压缩包使用WinSCP工具复制到sp1节点的/usr/local/spark1/下。



在sp1节点上安装scala-2.9.3.tgz，如下：
进入/usr/local/spark1/目录下：cd /usr/local/spark1/
解压scala-2.9.3.tgz：tar -zxvf scala-2.9.3.tgz
重命名解压出来的scala-2.9.3为scala：mv scala-2.9.3 scala
配置scala到系统环境变量：vi /etc/profile添加内容如下：
export SCALA_HOME=/usr/local/spark1/scala
export PATH=.:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATH
使修改立即生效：source /etc/profile
验证scala安装是否成功：scala 或者 scala -version



在sp1节点上安装spark-1.1.0-bin-hadoop2.4.tgz，如下：
进入/usr/local/spark1/目录下：cd /usr/local/spark1/
解压spark-1.1.0-bin-hadoop2.4.tgz：tar -zxvf spark-1.1.0-bin-hadoop2.4.tgz
重命名解压出来的spark-1.1.0-bin-hadoop2.4为spark：mv spark-1.1.0-bin-hadoop2.4 spark
配置scala到系统环境变量：vi /etc/profile添加内容如下：
export SPARK_HOME=/usr/local/spark1/spark
export PATH=.:$SPARK_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$PATH
使修改立即生效：source /etc/profile
配置spark运行依赖的/usr/local/spark1/spark/conf/spark-env.sh文件，添加内容如下：
export SCALA_HOME=/usr/local/spark1/scala
export JAVA_HOME=/usr/local/jdk/jdk6
export SPARK_MASTER_IP=sp1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=512m
export SPARK_WORKER_PORT=8888
export SPARK_WORKER_INSTANCES=1
配置spark的从节点/usr/local/spark1/spark/conf/slaves文件，将默认的localhost修改为如下：
sp1
sp2
sp3
配置成功后，将环境变量，/usr/local/spark1和/usr/local/jdk复制到sp2和sp3节点上，如下：
复制sp1节点环境变量到sp2节点：scp /etc/profile sp2:/etc/
复制sp1节点环境变量到sp3节点：scp /etc/profile sp3:/etc/
***注意：环境变量复制成功后需要分别在sp2节点和sp3节点上执行命令使修改立即生效：source /etc/profile
复制sp1节点解压出来配置好的spark和scala到sp2节点：scp -r /usr/local/* sp2:/usr/local/
复制sp1节点解压出来配置好的spark和scala到sp3节点：scp -r /usr/local/* sp3:/usr/local/
***注意：按照上述步骤完成后即可启动spark集群。
启动spark命令：start-all.sh
[root@sp1 sbin]# start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.master.Master-1-sp1.out
sp3: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-sp3.out
sp2: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-sp2.out
sp1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark1/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-sp1.out
验证spark启动是否成功1：分别在三个节点上执行jps命令，结果如下为正确(忽略进程号)：
sp1
2305 Worker
2156 Master
2410 Jps
sp2
2057 Worker
2138 Jps
sp3
2056 Worker
2136 Jps
验证spark启动是否成功2：在浏览器中输入localhost:8080验证是否启动成功。
停止spark命令：stop-all.sh



至此spark的standalone模式集群(3个节点)部署完成。



在h2的yarn上部署spark集群