欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

sparksql的两种创建方法和DateFrame和数据库直接的简单交互

程序员文章站 2022-06-01 15:45:52
...

1.通过创建SparkSession对象,创建完之后你可以直接读取文件返回的是一个Dataset[String] 对象 DataSet对象可以直接转成DataFrame格式,这个类似于python的DataFrame格式,如何就可以自己指定字段,如果不指定字段就回默认只有一个字段 Value,创建完表之后就可以直接进行增删改查了

 val spark = SparkSession
      .builder()
      .appName("Spark SQL basic example")
      .master("local[*]")
      .getOrCreate()
    import spark.implicits._
    //这里其实就是看返回值 这里是返回的直接就是Dataset[String]
    val ipLinesDataset=spark.read.textFile("data/ip.txt")
    val ipDataset=ipLinesDataset.map( line=>{
      val filds=line.split("\\|")
      val startNum=filds(2).toLong
      val endNum=filds(3).toLong
      val province=filds(6)
      (startNum,endNum,province)
    })
    val ipDataFrame=ipDataset.toDF("startNum","endNum","province")
    ipDataFrame.createTempView("v_ip")//创建临时视图 就相当于表
    spark.sql("select *from v_id")//操作sql语句

2.第二种就是通过SQLContext(sc:SparkConf)来获取,这个主要也是要看sc.textFile("")读取返回的是什么类型,这种返回的类型是 RDD[String] 要转成DataFrame格式就要借助与 SQLContext的createDataFrame(rowRDD: RDD[Row], schema: StructType)这个方法

    val conf=new SparkConf().setAppName("spark").setMaster("local[*]")
    val sc=new SparkContext(conf)
    //创建SQLContext对象
    val sqlContext=new SQLContext(sc)
    //以前读取txt一行一行的数据
   val lines= sc.textFile("data/person.txt")
    //map 转换一下类型
   val PersonRDD= lines.map( line=>{
      val fileds=line.split(",")
      val id=fileds(0).toInt
      val name=fileds(1)
      val age=fileds(2).toInt
      val high=fileds(3).toDouble
      //转成一个对象
     Row(id,name,age,high)
    })
    //如何将rdd转换成DataFrame schema
    val schema=StructType(List(
      StructField("id",IntegerType,true),
      StructField("name",StringType,true),
      StructField("age",IntegerType,true),
      StructField("heigh",DoubleType,true)
    ))
    //如何将其绑定
    val df=sqlContext.createDataFrame(PersonRDD,schema)
    df.createTempView("v_ip")//创建临时视图 就相当于表
    spark.sql("select *from v_id")//操作sql语句

这里有必要提一下DataFrame这个方法提供来十分方便读取数据库和写入数据库的函数 下面也给各位看一下如何简单的写入到数据库,第一个参数是数据库的链接,第二个参数是指定表名,第三个参数是连接数据库必要的属性
sparksql的两种创建方法和DateFrame和数据库直接的简单交互

val properties=new Properties()
    properties.put("user","root")
    properties.put("password","a")
 logImp.write.mode(SaveMode.Append).jdbc("jdbc:mysql://node1:3306/log_analysis","important_logs",properties)

相关标签: SparkSql