如何从IDEA提交任务到Spark,并查看任务执行结果
1.创建程序
打开IDEA——选择Maven项目——在下面找到scala22
2.IDEA程序如下
package com.demo
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.log4j.{Level,Logger}
object HelloWorld {
def main(args:Array[String]): Unit = {
//屏蔽日志
// Logger.getLogger(“org.apache.spark”).setLevel(Level.WARN)
// Logger.getLogger(“org.eclipse.jetty.server”).setLevel(Level.OFF)
//test.txt文件里包含了hello world行，读者可自己修改测试
val inputfile="file:///home/wangyang/helloSpark.txt"
val conf = new SparkConf().setAppName("HelloWorld").setMaster("spark://192.168.124.59:7077")
val sc = new SparkContext(conf)
val textfile = sc.textFile(inputfile)
//查询包含hello world的行
val lines = textfile.filter(line => line.contains("helloworld"))
lines.foreach(println)
}
bulid.sbt依赖（视情况自己修改）
name := “FirstSpark”
version := “0.1”
scalaVersion := “2.11.0”
libraryDependencies += “org.apache.spark” %% “spark-core” % “2.4.0”
3.打成jar包
4.使用rz命令将jar包以及要读的文件其上传到服务器上
5.提交运行
spark-submit --master spark://localhost:7077
/home/wangyang/FirstSpark.jar
其中最后一项是你的jar包位置
6.查看运行日志
192.168.124.59:8080 sdout不一定在三台服务器哪一台上有显示
7.若运行报文件未找到的错
关于在Spark集群中读取本地文件抛出找不到文件异常的问题
一般情况下，我们在本地ide里写好程序，打成jar包上传到集群取运行，有时候需要读取数据文件，这个时候需要注意，如果程序中读取的是本地文件，那么，要在所有的节点都有这个数据文件，只在master中有这个数据文件时执行程序时一直报找不到文件
解决方式1：让每个Worker节点的相应位置都有要读取的数据文件。
解决方式2：直接将数据文件上传到hdfs，达到数据共享。（强烈推荐，比格更高更专业）