spark-shell运行spark任务参数设置 博客分类： spark

写道

spark-shell本地两线程运行
spark-shell --master local[2]
spark-shell --master local[*] *表示当前机器上所有可用的资源

集群模式
spark-shell --master spark://hadoop1:7077
master=spark://hadoop1:7077 ./spark-shell

spark-shell --master spark://hadoop1:7077 --executor-memory 3G

spark-shell master spark://hadoop1:7077,hadoop2:7077,hadoop3:7077 \
--total-executor-cores 6 \
--executor-memory 4G \
--executor-cores 2

 

写道

--executor-memory 是指定每个executor(执行器)占用的内存
--total-executor-cores是所有executor总共使用的cpu核数
--executor-cores是每个executor使用的cpu核数

 有时候SparkUI上显示Cores为0，就设置一下就好