欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

localhost方式提交作业到spark运行

程序员文章站 2022-03-06 08:02:32
...

  • 修改参数
代码见上一节代码地址

Java版本:

JavaRDD rdd1 =  sc.textFile(args[0])
Scala版本:

val rdd1 = sc.textFile(args(0))

  • 编译
  • 添加spark依赖包
<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.2.1</version>
        </dependency>

  • 利用maven打包

localhost方式提交作业到spark运行


  • 将打包文件复制到centos的home目录下
  • 进入spark的bin目录运行jar包
[aaa@qq.com bin]# spark-submit --master local --name mywordCount --class  com.cr.scala.wordcountscala sparkDemo3-1.0-SNAPSHOT.jar /home/test.txt

注意包名在前,jar包在后

运行结果如图所示:

localhost方式提交作业到spark运行

 还要注意的是Scala版本和spark版本一定要对应