maven scope-provided 与 optional 区别

今天遇到一个问题，整了我一上午，一个Spark项目，总是报错

package tests

import org.apache.spark.sql.SparkSession

/**
  * Created by lcc on 2018/7/19.
  */
object Mytest {
  def main(args: Array[String]): Unit = {

    val spark = SparkSession.builder()
      .appName("Spark Hive Example")
      .master("local")
      .enableHiveSupport()
      .getOrCreate()

    spark.sql("use super_dev").show()
    spark.stop()

  }
}

编译不报错，也能点开SparkSession，查看依赖也有，但是运行总报错

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
    at tests.Mytest$.main(Mytest.scala:11)
    at tests.Mytest.main(Mytest.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 2 more

Process finished with exit code 1

后来看到了
ClassNotFoundException和NoClassDefFoundError的区别

然后结合下面，找到了原因，原来是maven里设置为

<spark.scope>provided</spark.scope>

后来改成

 <spark.scope>compile</spark.scope>

就运行成功了

2.maven scope-provided 与 optional 区别

1.scope
maven的scope决定依赖的包是否加入本工程的classpath下

依赖范围(Scope)	编译classpath	测试classpath	运行时classpath	传递性	说明
compile	Y	Y	Y	Y
test	-	Y	-	-
provided	Y	Y	-	-
runtime	-	Y	Y	Y
system	Y	Y	-	Y

2.optional
与scope区别在于：仅限制依赖包的传递性，不影响依赖包的classpath，看两个例子

比如一个工程中

A->B, B->C(scope:compile, optional:true)，B的编译/运行/测试classpath都有C，A中的编译/运行/测试classpath都不存在C(尽管C的scope声明为compile)，A调用B哪些依赖C的方法就会出错。

A->B, B->C(scope:provided), B的编译/测试classpath有C，A中的编译/运行/测试classpath都不存在C，但是A使用B(需要依赖C)的接口时就会出现找不到C的错误，此时，要么是手动加入C的依赖，即A->C，否则需要容器提供C的依赖包到运行时classpath。