Scala创建新的空DataFrame

前言

本文主要是对Scala中创建空DataFrame的方式进行介绍，以下将会列举不同的代码示例

实现

方式一：

	/**
     * 创建一个空的DataFrame，代表用户
     * 有四列，分别代表ID、名字、年龄、生日
     */
    val colNames = Array("id", "name", "age", "birth")
    //为了简单起见，字段类型都为String
    val schema = StructType(colNames.map(fieldName => StructField(fieldName, StringType, true)))
    //主要是利用了spark.sparkContext.emptyRDD
    val emptyDf = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema)

    emptyDf.show

方式二：

	/**
     * 可以给每列指定相对应的类型
     */
    val schema1 = StructType(
      Seq(
        StructField("id", IntegerType, true),
        StructField("name", StringType, true),
        StructField("age", IntegerType, true),
        StructField("birth", StringType, true)))
    val emptyDf1 = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema1)
    emptyDf1.show

方式三：

	//一种空的DataFrame，没有任何行任何列
    spark.emptyDataFrame.show

参考博客

Spark创建空的DataFrame - 董可伦 - CSDN博客