Idea使用Scala启动并编写Spark应用程序

1、打开Idea，选择新建一个项目，点击右侧的选择maven，在左侧勾选，create from archetype选项，在下拉的选项中中悬着scala-archetype-simple选项，点击下一步

 

2、填写gav三个坐标，这个自己填写就好，可以参考格式以下，点击下一步

groupId：com.test.www

ArtifactId : sal

version :1.0

3、配置maven的安装路径以及，配置setting.xml的路径，该路径在maven的conf路径下，接下来添加通过maven仓库的路径，这个可以自己添加

4、最后填写项目的名称就可以新建一个项目了

6、新建项目完成后需要引入spark依赖，这样才可以进行spark编程，在pom.xml文件添加依赖，版本修改为自己对应的spark版本，并吧scala版本修改为2.11.8版本，否则会无法正常使用spark，并把-make:transitive选项删除，否则启动时会报错，如果已经报错，打开项目的.idea目录，找到scala_compiler.xml文件把该依赖删除即可

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-sql_2.11</artifactId>
  <version>${spark.version}</version>
</dependency>

接下来就可以新建一个scala  Object文件进行编程啦，另外如果在window上编程还要去github上下载winutils放到hadoop的bin目录下,并添加用户变量和环境变量，重启电脑就可以正常启动了