欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

spark2.2.1中spark.yarn.jars|spark.yarn.archive的正确配置

程序员文章站 2022-07-07 22:35:18
在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。 mkdir /tmp/spark-events rsync -a /tmp/sp...

在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。

mkdir /tmp/spark-events
rsync -a /tmp/spark-events {slaves}:/tmp/spark-events

spark-default.conf:

spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.history.fs.logDirectory=hdfs:///home/elon/spark/events

这样就可以在UI界面上看见日志了