欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFo

程序员文章站 2022-06-27 22:16:49
idea中使用scala运行spark出现: 查看build.sbt: 你需要确保 spark所使用的scala版本与你系统scala的版本一致 你也可以这样: 那怎样确认你的版本是否一致呢: 1 .首先查看你代码使用的版本,这个就是从pom.xml中或者sbt配置文件中查看 确定你的使用版本 2. ......

idea中使用scala运行spark出现:

  

Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

 

查看build.sbt:

  

idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFo
name := "ScalaSBT"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.1"
idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFo

 

你需要确保 spark所使用的scala版本与你系统scala的版本一致

 

你也可以这样:

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"  

那怎样确认你的版本是否一致呢:

1 .首先查看你代码使用的版本,这个就是从pom.xml中或者sbt配置文件中查看

确定你的使用版本

2.查看你的spark的集群,spark使用的scala的版本

  a. 运行spark-shell ,在启动结束会显示版本

idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFo

    b.进入spark的安装目录查看jars目录下,scala中的类库版本号

  

ls /usr/local/spark/jars | grep scala

  显示如下:

idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFo

然后你就可以修改你使用的scala版本号了

问题解决