欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Spark集群安装(Standalone)

程序员文章站 2022-04-02 08:27:04
...
  1. 解压安装包
tar -xvf spark-2.0.1-bin-hadoop2.7.tgz
  1. 在spark的conf目录下,复制 spark-env.sh.templatespark-env.sh
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

Spark集群安装(Standalone)

  1. 在spark的conf目录下,复制 slaves.templateslaves
cp slaves.template slaves
vim slaves

Spark集群安装(Standalone)

  1. 将spark安装目录远程拷贝到另外两个节点
scp -r spark-2.0.1-bin-hadoop2.7 hadoop02:/home/software/
scp -r spark-2.0.1-bin-hadoop2.7 hadoop03:/home/software/

启动spark集群

  1. 进入spark的sbin目录,启动spark集群
sh start-all.sh

Spark集群安装(Standalone)

  1. 在spark的bin目录下,进入spark客户端
sh spark-shell --master spark://hadoop01:7077

Spark集群安装(Standalone)

相关标签: 大数据 spark