pandas string转dataframe的方法
程序员文章站
2023-08-14 14:39:18
今天业务上碰到用pandas处理一个大文件的内存不够问题,需要做concat 合并多个文件,每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件...
今天业务上碰到用pandas处理一个大文件的内存不够问题,需要做concat 合并多个文件,每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理,后面发现即使pandas内存问题解决了,用pickle做保存数据时也会提升内存不够的报错,后来把dataframe对象转化成string,发现内存占用减少了近一半。
所以打算用先转成string再dump到离线文件里,官网文档上只有to_string的说明,而从string转dataframe却没有提供直接的函数。
其实很简单,我们可以把string放到一个文件对象里,然后通过read_csv函数来创建dataframe对象。
import sys if sys.version_info[0] < 3: from StringIO import StringIO else: from io import StringIO import pandas as pd TESTDATA=StringIO("""col1;col2;col3 1;4.4;99 2;4.5;200 3;4.7;65 4;3.2;140 """) df = pd.read_csv(TESTDATA, sep=";")
以上这篇pandas string转dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
上一篇: 三八妇女节那天女人什么事都不用干
下一篇: 后来我们因为笑点不同分手了
推荐阅读
-
[转]XMLHTTPRequest的属性和方法简介
-
百度文库和豆丁网文档免费转藏至我的图书馆的方法
-
pandas使用get_dummies进行one-hot编码的方法
-
PHP实现数组转JSon和JSon转数组的方法示例
-
Pandas读写CSV文件的方法示例
-
对python pandas读取剪贴板内容的方法详解
-
Python Pandas DataFrame:查询数据or选择数据(selection)之loc,iloc,at,iat,ix的用法和区别
-
微信转址赚钱的方法_转址赚钱的项目有哪些?
-
如何将视频转换成音频?使用万兴优转将视频转音频的方法介绍
-
如何修剪视频和合并多个视频?万兴优转修剪合并视频的方法介绍