欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

程序员文章站 2022-07-02 17:53:25
...

创建一个Scala IDEA工程:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

点击“Next”:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

点击“Finish”完成工程的创建:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

修改项目的属性:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

 

首先修改Modules选项:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

 

在src下创建两个文件夹,并把其属性改为source:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

再修改Libraries:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

因为要开发Spark程序,所以需要把Spark的开发需要的jar包导进来:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

 

导入包完成后,在工程的scala下面创建一个package:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

 

创建一个Object对象:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

完成初始类的创建:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

 

首先构建Spark Driver的模板代码:

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
            
    
    博客分类: spark SparkConfSparkContextmapfiltersortByKey 

该程序是对前面的搜狗日志的处理代码,只不过这个时候在IDEA中编写而已。