spark2.2.1中spark.yarn.jars|spark.yarn.archive的正确配置

在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。

mkdir /tmp/spark-events
rsync -a /tmp/spark-events {slaves}:/tmp/spark-events

spark-default.conf:

spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.history.fs.logDirectory=hdfs:///home/elon/spark/events

这样就可以在UI界面上看见日志了