欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

spark - Spark-sql, DataFrame,DataSet名词解释 博客分类: spark spark sqldataframe api 

程序员文章站 2024-03-12 19:06:02
...

1.什么是spark-sql?

  • spark-sql 不是sql,它是spark提供的处理结构化数据的框架,不仅仅是一个sql框架,还支持DataFrame和DataSet
  • hive on spark 是hive提供的以spark作为计算引擎的计算框架,类似的框架还有hive on tez, mr等,hive1.1版本开始提供的,目前不是稳定版本

2.DataFrame

  • DataFrame是一个分布式集合,其中数据被组织为命名的列。它概念上等价于关系数据库中的表,但底层做了更多的优化。DataFrame可以从很多数据源构建,比如:已经存在的RDD、结构化文件、外部数据库、Hive表。
  • DataFrame的前身是SchemaRDD,从Spark 1.3.0开始SchemaRDD更名为DataFrame。与SchemaRDD的主要区别是:DataFrame不再直接继承自RDD,而是自己实现了RDD的绝大多数功能。你仍旧可以在DataFrame上调用.rdd方法将其转换为一个RDD。RDD可看作是分布式的对象的集合,Spark并不知道对象的详细模式信息,DataFrame可看作是分布式的Row对象的集合,其提供了由列组成的详细模式信息,使得Spark SQL可以进行某些形式的执行优化。
  • 支持scala,java,python,R;
  • 在java和scala中DataFrame = DataSet[Row];
  • DataFrame和普通的RDD的逻辑框架区别如下所示:spark - Spark-sql, DataFrame,DataSet名词解释
            
    
    博客分类: spark spark sqldataframe api 

 

    二者对比:

  • DataFrame有shcema (所以是shcemaRDD)
  • DataFrame用了压缩 + 列式存储
  • DataFrame不仅比RDD有更加丰富的算子,更重要的是它可以进行执行计划优化(得益于Catalyst SQL解析器),另外Tungsten项目给DataFrame的执行效率带来了很大提升(不过Tungsten优化也可能在后续开发中加入到RDD API中)。
  • 但是在有些情况下RDD可以表达的逻辑用DataFrame无法表达,所以后续提出了Dataset API,Dataset结合了RDD和DataFrame的好处。

3.DataSet

  • 分布式数据集,scala和java支持的较好,python支持的一般(慎用)
  • Dataset是Spark 1.6新添加的一个实验性接口,其目的是想结合RDD的好处(强类型(这意味着可以在编译时进行类型安全检查)、可以使用强大的lambda函数)和Spark SQL的优化执行引擎的好处。可以从JVM对象构造出Dataset,然后使用类似于RDD的函数式转换算子(map/flatMap/filter等)对其进行操作。
  • Dataset通过Encoder实现了自定义的序列化格式,使得某些操作可以在无需解序列化的情况下直接进行。另外Dataset还进行了包括Tungsten优化在内的很多性能方面的优化。
  • 实际上Dataset是包含了DataFrame的功能的,这样二者就出现了很大的冗余,故Spark 2.0将二者统一:保留Dataset API,把DataFrame表示为Dataset[Row],即Dataset的子集。

4.spark sql 架构图:

根据架构图可知,任何语言的dataframe的同一个操作,底层的性能都一样,因为都转成logic plan

而rdd的操作是直接作用在jvm上执行,没有logic plan,所以不同语言底层的性能会有些差异

spark - Spark-sql, DataFrame,DataSet名词解释
            
    
    博客分类: spark spark sqldataframe api 
 

 

5.spark三大愿景

  • write less code
  • read less data
  • les the optimizer to do hard work
  • spark - Spark-sql, DataFrame,DataSet名词解释
            
    
    博客分类: spark spark sqldataframe api 
  • 大小: 4 KB
  • spark - Spark-sql, DataFrame,DataSet名词解释
            
    
    博客分类: spark spark sqldataframe api 
  • 大小: 89.5 KB