欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

【赵强老师】在Spark SQL中读取JSON文件

程序员文章站 2022-06-24 13:05:31
Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习Spark SQL?如果大家了解Hive的话,应该知道它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapRedu ......
spark sql是spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做dataframe并且作为分布式sql查询引擎的作用。为什么要学习spark sql?如果大家了解hive的话,应该知道它是将hive sql转换成mapreduce然后提交到集群上执行,大大简化了编写mapreduce的程序的复杂性,由于mapreduce这种计算模型执行效率比较慢。所以spark sql的应运而生,它是将spark sql转换成rdd,然后提交到集群执行,执行效率非常快!同时spark sql也支持从hive中读取数据。
spark sql也能自动解析json数据集的schema,读取json数据集为dataframe格式。读取json数据集方法为sqlcontext.read().json()。该方法将string格式的rdd或json文件转换为dataframe。
需要注意的是,这里的json文件不是常规的json格式。json文件每一行必须包含一个独立的、自满足有效的json对象。如果用多行描述一个json对象,会导致读取出错。
  • 需要用到的测试数据:people.json
{"name":"michael"}
{"name":"andy", "age":30}
{"name":"justin", "age":19} 
  • 定义路径
val path ="/root/temp/people.json" 
  • 读取json文件,生成dataframe:
val peopledf = spark.read.json(path) 
  • 打印schema结构信息
peopledf.printschema()

 【赵强老师】在Spark SQL中读取JSON文件

  • 创建临时视图
peopledf.createorreplacetempview("people") 
  • 执行查询
spark.sql("select name from people where age=19").show

 【赵强老师】在Spark SQL中读取JSON文件