Spark standalone初体验2 -Spark 提交任务设置参数

Spark 提交任务设置参数

MASTER=spark://rhel731:7077 spark-shell --executor-cores=3 --total-executor-cores 9

MASTER参数指定 集群的master

--executor-cores是每个executor使用的cpu核数

--total-executor-cores是该任务所有executor总共使用的cpu核数

--executor-memory 是指定每个executor(执行器)占用的内存

如果不指定参数，那么 spark-shell会直接将所有资源占用

MASTER=spark://rhel731:7077 spark-shell

此时 spark集群的cpu核数全部用光，再执行另一个任务，就只能一直等待前一个任务释放cpu

spark-submit --master spark://rhel731:7077 /opt/spark-3.0.0/examples/src/main/python/pi.py

所以建议在提交任务的时候指定参数，避免造成不必要的资源浪费

（在Spark的standalone模式下实验）