Spark创建空的DataFrame

我的原创地址：https://dongkelun.com/2018/08/14/sparkEmptyDataFrame/

前言

本文主要给出Spark创建空的DataFrame的代码示例，这里讲的空的DataFrame主要指有列名（可以自己随意指定），但是没有行的DataFrame，因为自己在开发过程中有这个需求，之前并不知道怎么创建，就查了一下，发现资料并不多，不知道因为太简单还是用的人少~，至于具体什么需求就不阐述了，主要给有这方面需求的小伙伴参考一下。还有另一种空的DataFrame就是没有任何行任何列的DataFrame，不知道有什么用，反正贴在代码里，万一有人用呢~

1、代码

代码较简单，如下

package com.dkl.leanring.spark.df import org.apache.spark.sql.SparkSession import org.apache.spark.sql.types._ import org.apache.spark.sql.Row import org.apache.spark.rdd.EmptyRDD /** * Spark创建空DataFrame示例 */ object EmptyDataFrame { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("EmptyDataFrame").master("local").getOrCreate() /** * 创建一个空的DataFrame，代表用户 * 有四列，分别代表ID、名字、年龄、生日 */ val colNames = Array("id", "name", "age", "birth") //为了简单起见，字段类型都为String val schema = StructType(colNames.map(fieldName => StructField(fieldName, StringType, true))) //主要是利用了spark.sparkContext.emptyRDD val emptyDf = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema) emptyDf.show /** * 也可以给每列指定相对应的类型 */ val schema1 = StructType( Seq( StructField("id", IntegerType, true), StructField("name", StringType, true), StructField("age", IntegerType, true), StructField("birth", StringType, true))) val emptyDf1 = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema1) emptyDf1.show //还有一种空的DataFrame，没有任何行任何列 spark.emptyDataFrame.show spark.stop() } }

2、结果