Spark NoSuchMethodError

org.apache.spark.deploy.SparkHadoopUtil.getFSBytesReadOnThreadCallback()

最近玩 Spark 遇到几次 NoSuchMethodError （找不到对应的方法） ，主要还是版本问题。比如我在2.2.1中使用下面方式读取文件就会抛出异常：

SparkConf sparkConf = new SparkConf().setMaster("spark://fp-bd6:7077").setAppName("my");
        SparkSession session = SparkSession
                .builder()
                .config(sparkConf)
                .enableHiveSupport()
                .getOrCreate();
        JavaRDD<String> logRdd = session.read().textFile("xxx.log").javaRDD();

18/04/16 18:42:20 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.lang.NoSuchMethodError: org.apache.spark.deploy.SparkHadoopUtil.getFSBytesReadOnThreadCallback()Lscala/Option;

2.2.1直接通过sparkSession无法获取，而这个方法在2.1.0其实是可以使用的。就算新版本不支持这个方法，但是通过sparkContext()就行了。

JavaRDD<String> logRdd = sparkSession.sparkContext().textFile("xxx.log", 1).toJavaRDD();

spark每个版本的变动可能大家都不会仔细了解。但遇到类似 NoSuchMethodError 错误时，想到可能是版本问题造成的，然后看官方文档修改相应API解决就好了。