localhost方式提交作业到spark运行
程序员文章站
2022-03-06 08:02:32
...
- 修改参数
代码见上一节代码地址
Java版本:
JavaRDD rdd1 = sc.textFile(args[0])
Scala版本:
val rdd1 = sc.textFile(args(0))
- 编译
- 添加spark依赖包
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.1</version>
</dependency>
- 利用maven打包
- 将打包文件复制到centos的home目录下
- 进入spark的bin目录运行jar包
[aaa@qq.com bin]# spark-submit --master local --name mywordCount --class com.cr.scala.wordcountscala sparkDemo3-1.0-SNAPSHOT.jar /home/test.txt
注意包名在前,jar包在后
运行结果如图所示:
还要注意的是Scala版本和spark版本一定要对应