pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
程序员文章站
2024-01-20 14:36:46
代码如下,步骤流程在代码注释中可见:
# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql...
代码如下,步骤流程在代码注释中可见:
# -*- coding: utf-8 -*- import pandas as pd from pyspark.sql import sparksession from pyspark.sql import sqlcontext from pyspark import sparkcontext #初始化数据 #初始化pandas dataframe df = pd.dataframe([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3']) #打印数据 print df #初始化spark dataframe sc = sparkcontext() if __name__ == "__main__": spark = sparksession\ .builder\ .appname("testdataframe")\ .getorcreate() sentencedata = spark.createdataframe([ (0.0, "i like spark"), (1.0, "pandas is useful"), (2.0, "they are coded by python ") ], ["label", "sentence"]) #显示数据 sentencedata.select("label").show() #spark.dataframe 转换成 pandas.dataframe sqlcontest = sqlcontext(sc) spark_df = sqlcontest.createdataframe(df) #显示数据 spark_df.select("c1").show() # pandas.dataframe 转换成 spark.dataframe pandas_df = sentencedata.topandas() #打印数据 print pandas_df
程序结果:
以上这篇pyspark.sql.dataframe与pandas.dataframe之间的相互转换实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
推荐阅读
-
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
-
jQuery对象与DOM对象之间的相互转换_jquery
-
IStream与TStream之间的相互转换_PHP
-
Java 中 Date 与 Calendar 之间的编辑与转换实例详解
-
对Java字符串与整形、浮点类型之间的相互转换方法总结
-
数组与List之间相互转换的方法详解
-
C#实现Stream与byte[]之间的转换实例教程
-
数组与List之间相互转换的方法详解
-
C#实现Stream与byte[]之间的转换实例教程
-
Java Base64位编码与String字符串的相互转换,Base64与Bitmap的相互转换实例代码