spark提交任务的模式

程序员文章站 2024-02-25 10:58:04

...

一、Standalone模式两种提交任务方式

1、Standalone-client提交任务方式

命令

./spark-submit
--master spark://hap-1:7077
--deploy-mode client
--class com.ning.SparkTest
/root/SparkTest.jar

deploy-mode默认就是client模式，这句可加可不加

spark提交任务的模式

2、Standalone-cluster提交任务方式

./spark-submit 
--master spark://node1:7077 
--deploy-mode cluster
--class com.ning.SparkTest 
/root/SparkTest.jar

spark提交任务的模式

1、yarn-client提交任务方式

./spark-submit 
--master yarn
--class com.ning.SparkTest
/root/SparkTest.jar

或

./spark-submit 
--master yarn–client
--class com.ning.SparkTest
/root/SparkTest.jar

或

./spark-submit 
--master yarn 
--deploy-mode  client 
--class com.ning.SparkTest
/root/SparkTest.jar

spark提交任务的模式

2、yarn-cluster提交任务方式

./spark-submit 
--master yarn 
--deploy-mode cluster 
--class com.ning.SparkTest
/root/SparkTest.jar

或

./spark-submit 
--master yarn-cluster
--class com.ning.SparkTest
/root/SparkTest.jar

spark提交任务的模式