利用maven的资源提交spark任务

 官网的教程提交依赖的jar，使用 --jars 参数来添加额外的jar。这种方式比较费劲，如果依赖比较多需要一个个的弄，挺麻烦。

 

查看 SparkSubmit 源码时（结合help帮助），可以通过 --packages --repositories  两个参数来添加需要的包（当然也可以包括 primaryResource ）。packages写法类似于sbt类似，多个包通过逗号分隔；repositories就是公共库的地址，多个库同样适用逗号分隔。

 

 ~/opt/spark-2.0.0-bin-2.6.3/bin/spark-submit  \
--packages \
"com.eshore.zhfx:analyser:2.5,org.elasticsearch:elasticsearch-spark-20_2.11:5.0.0-beta1" \
--repositories "http://cu1:8081/nexus/content/groups/public/" \
--class XXXXAnalyser --conf spark.es.nodes=cu2 --conf spark.es.port=9200 \
analyser-2.5.jar cu2:9092 cu2 $PWD >analyser.log 2>&1 &