【赵强老师】在Spark SQL中读取JSON文件
程序员文章站
2022-06-24 13:05:31
Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习Spark SQL?如果大家了解Hive的话,应该知道它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapRedu ......
spark sql是spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做dataframe并且作为分布式sql查询引擎的作用。为什么要学习spark sql?如果大家了解hive的话,应该知道它是将hive sql转换成mapreduce然后提交到集群上执行,大大简化了编写mapreduce的程序的复杂性,由于mapreduce这种计算模型执行效率比较慢。所以spark sql的应运而生,它是将spark sql转换成rdd,然后提交到集群执行,执行效率非常快!同时spark sql也支持从hive中读取数据。
spark sql也能自动解析json数据集的schema,读取json数据集为dataframe格式。读取json数据集方法为sqlcontext.read().json()。该方法将string格式的rdd或json文件转换为dataframe。
需要注意的是,这里的json文件不是常规的json格式。json文件每一行必须包含一个独立的、自满足有效的json对象。如果用多行描述一个json对象,会导致读取出错。
-
需要用到的测试数据:people.json
{"name":"michael"}
{"name":"andy", "age":30}
{"name":"justin", "age":19}
-
定义路径
val path ="/root/temp/people.json"
-
读取json文件,生成dataframe:
val peopledf = spark.read.json(path)
-
打印schema结构信息
peopledf.printschema()
-
创建临时视图
peopledf.createorreplacetempview("people")
-
执行查询
spark.sql("select name from people where age=19").show
上一篇: 麻麻,我觉得你手机还有救的
下一篇: ruby 一些简单的例子