欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

运行Spark程序时出现 Exception in thread “main“ org.apache.spark.SparkException: A master URL must be set

程序员文章站 2022-07-12 14:20:01
...

Exception in thread “main” org.apache.spark.SparkException: A master URL must be set

  • 可以看出、 spark master 没有被设置

方法一

在创建SparkConf的时候指定 AppName 以及 Master

val sparkConf = new SparkConf().setAppName("YourAppName").setMaster("local")

方法二

  1. 在创建 SparkConf时指定 AppName
val sparkConf = new SparkConf().setAppName("YourAppName")
  1. 编辑 Edit Configurations 在 VM options添加如下内容 ,就是将spark master 设置为本地
-Dspark.master=local

运行Spark程序时出现 Exception in thread “main“ org.apache.spark.SparkException: A master URL must be set