Idea提交任务到集群

cluster模式

注：本地提交任务到yarn，参考这篇文章：本地提交任务到yarn

1、打jar包

将程序编译打包

2、idea参数配置

• 找到debug配置信息：Run → Edit Configurations，如图所示：
  
  或者直接点击，如下图
  
• 打开如下配置信息页
  

1. 参数配置

main class

org.apache.spark.deploy.SparkSubmit

program arguments

1）指定class
2）指定jar包的位置
如下所示
--class com.talkingdata.dmp.etl.Test --name Spark /Users/t_ojo/IdeaProject/ETL/etl-offsetid/target/etl-offsetid.jar

environment variables

SPARK_HOME #{你的SPARK_HOME目录}
HADOOP_HOME #{HADOOP_HOME}
HADOOP_CONF_DIR #{你的HADOOP_HOME目录}/etc/hadoop

2. Spark配置文件修改 - spark-defaults.conf

配置文件在 #{SPARK_HOME}/conf下， 增加如下配置信息，参数值自行调整

spark.driver.memory 1g
spark.executor.memory 2g
spark.executor.cores 1
spark.executor.instances 5
spark.master yarn-cluster
spark.hadoop.yarn.resourcemanager.address 172.*.*.*
spark.hadoop.fs.defaultFS hdfs://*hadoop-005.tendcloud.com:9000

3、idea任务提交

直接点击运行接钮即可