欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

spark集群安装-Standalone  

程序员文章站 2022-03-20 17:47:38
...

spark集群一共有三种工作方式,分别是:

Standalone Deploy Mode: simplest way to deploy Spark on a private cluster

Apache Mesos

Hadoop YARN

当然第一种安装最简单,当然要先来简单的。

 

1. 准备工作

三台centos:spark01/spark02/spark03

安装jdk 配置好JAVA_HOME

下载spark安装包:

https://mirror.tuna.tsinghua.edu.cn/apache/spark/spark-2.1.0/spark-2.1.0-bin-hadoop2.7.tgz

 

2. 解压

tar -xvf spark-2.1.0-bin-hadoop2.7.tgz

 

3. 启动

首先启动master(spark01):

sbin/start-master.sh

然后启动slave(spark02和spark03)

sbin/start-slave.sh spark://spark01:7077

 

4.测试

提交一个测试任务到集群 使用自带的计算pi的示例,有两种方式:

# 这种方式会提交任务到集群 但是使用的客户端模式 也就是任务的输出会在控制台显示

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop01:7077 --executor-memory 1G --total-executor-cores 2 examples/jars/spark-examples_2.11-2.1.0.jar 1000

# 这种方式任务会提交到集群 输出要通过web ui查看,控制台看不到结果

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://spark01:7077 --deploy-mode cluster --supervise --executor-memory 1G --total-executor-cores 2 examples/jars/spark-examples_2.11-2.1.0.jar 1000