欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python用pandas实现数据加载、存储与文件格式的教程

程序员文章站 2022-03-08 22:29:58
数据加载、存储与文件格式 pandas提供了一些用于将表格型数据读取为dataframe对象的函数。其中read_csv和read_talbe用得最多 pandas中的解析函数: 函数 说明 rea...

数据加载、存储与文件格式

pandas提供了一些用于将表格型数据读取为dataframe对象的函数。其中read_csv和read_talbe用得最多

pandas中的解析函数:

函数 说明

read_csv 从文件、url、文件型对象中加载带分隔符的数据,默认分隔符为逗号

read_table 从文件、url、文件型对象中加载带分隔符的数据。默认分隔符为制表符("\t")

read_fwf 读取定宽列格式数据(也就是说,没有分隔符)

read_clipboard 读取剪贴板中的数据,可以看做read_table的剪贴板版。在将网页转换为表格时很有用

下面介绍一下这些函数在将文本数据转换为dataframe时所用到的一些技术。这些函数的选项可以划分为以下几个大类:

(1)索引:将一个或多个列当做返回的dataframe处理,以及是否从文件、用户获取列名

(2)类型推断和数据转换:包括用户定义值的转换、缺失值标记列表等。(类型推断是这些函数中最重要的功能之一)

(3)日期解析:包括组合功能,比如将分散在多个列中的日期时间信息组合成结果中的单个列。

(4)迭代:支持对大文件进行逐块迭代。

(5)不规整数据问题:跳过一些行、页脚、注释或其他一些不重要的东西(比如成千上万个逗号隔开的数值数据)