RDD和DataFrame和DataSet三者间的区别
程序员文章站
2022-03-09 11:01:12
在SparkSQL中Spark为我们提供了两个新的抽象,分别是DataFrame和DataSet。他们和RDD有什么区别呢?首先从版本的产生上来看:RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构 ......
在sparksql中spark为我们提供了两个新的抽象,分别是dataframe和dataset。他们和rdd有什么区别呢?首先从版本的产生上来看:
rdd (spark1.0) —> dataframe(spark1.3) —> dataset(spark1.6)
如果同样的数据都给到这三个数据结构,他们分别计算之后,都会给出相同的结果。不同是的他们的执行效率和执行方式。
在后期的spark版本中,dataset会逐步取代rdd和dataframe成为唯一的api接口。
网址:https://www.cnblogs.com/swordfall/p/9006088.html#auto_id_0
推荐阅读
-
前端产品和后端产品的区别(深入解读两者间区别)
-
前端产品和后端产品的区别(深入解读两者间区别)
-
jsp和servlet区别在哪(简述2者间的不同处)
-
jsp和servlet区别在哪(简述2者间的不同处)
-
Python Pandas DataFrame:查询数据or选择数据(selection)之loc,iloc,at,iat,ix的用法和区别
-
两税法、一条鞭法和摊丁入亩的区别在哪里 简述三者意义及影响
-
浅谈Pandas:Series和DataFrame间的算术元素
-
宰相和丞相相比 两者间的区别是什么
-
对pandas中两种数据类型Series和DataFrame的区别详解
-
笔记本和超极本及上网本三者区别是什么 三者的区别对比