spark2.2.1中spark.yarn.jars|spark.yarn.archive的正确配置
程序员文章站
2022-07-07 22:35:18
在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。
mkdir /tmp/spark-events
rsync -a /tmp/sp...
在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。
mkdir /tmp/spark-events rsync -a /tmp/spark-events {slaves}:/tmp/spark-events
spark-default.conf:
spark.history.ui.port=18080 spark.eventLog.enabled=true spark.history.fs.logDirectory=hdfs:///home/elon/spark/events
这样就可以在UI界面上看见日志了