欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

RDD和DataFrame和DataSet三者间的区别

程序员文章站 2022-06-24 22:48:48
在SparkSQL中Spark为我们提供了两个新的抽象,分别是DataFrame和DataSet。他们和RDD有什么区别呢?首先从版本的产生上来看:RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构 ......

RDD和DataFrame和DataSet三者间的区别

在sparksql中spark为我们提供了两个新的抽象,分别是dataframe和dataset。他们和rdd有什么区别呢?首先从版本的产生上来看:
rdd (spark1.0) —> dataframe(spark1.3) —> dataset(spark1.6)

如果同样的数据都给到这三个数据结构,他们分别计算之后,都会给出相同的结果。不同是的他们的执行效率和执行方式。

在后期的spark版本中,dataset会逐步取代rdd和dataframe成为唯一的api接口。

网址:https://www.cnblogs.com/swordfall/p/9006088.html#auto_id_0