【赵强老师】在Spark SQL中读取JSON文件

spark sql是spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做dataframe并且作为分布式sql查询引擎的作用。为什么要学习spark sql？如果大家了解hive的话，应该知道它是将hive sql转换成mapreduce然后提交到集群上执行，大大简化了编写mapreduce的程序的复杂性，由于mapreduce这种计算模型执行效率比较慢。所以spark sql的应运而生，它是将spark sql转换成rdd，然后提交到集群执行，执行效率非常快！同时spark sql也支持从hive中读取数据。

spark sql也能自动解析json数据集的schema，读取json数据集为dataframe格式。读取json数据集方法为sqlcontext.read().json()。该方法将string格式的rdd或json文件转换为dataframe。

需要注意的是，这里的json文件不是常规的json格式。json文件每一行必须包含一个独立的、自满足有效的json对象。如果用多行描述一个json对象，会导致读取出错。

• 需要用到的测试数据：people.json

{"name":"michael"}
{"name":"andy", "age":30}
{"name":"justin", "age":19} 

• 定义路径

val path ="/root/temp/people.json" 

• 读取json文件，生成dataframe：

val peopledf = spark.read.json(path) 

• 打印schema结构信息

peopledf.printschema()

 

• 创建临时视图

peopledf.createorreplacetempview("people") 

• 执行查询

spark.sql("select name from people where age=19").show