python用pandas实现数据加载、存储与文件格式的教程

数据加载、存储与文件格式

pandas提供了一些用于将表格型数据读取为dataframe对象的函数。其中read_csv和read_talbe用得最多

pandas中的解析函数：

函数 说明

read_csv 从文件、url、文件型对象中加载带分隔符的数据，默认分隔符为逗号

read_table 从文件、url、文件型对象中加载带分隔符的数据。默认分隔符为制表符("\t")

read_fwf 读取定宽列格式数据(也就是说，没有分隔符)

read_clipboard 读取剪贴板中的数据，可以看做read_table的剪贴板版。在将网页转换为表格时很有用

下面介绍一下这些函数在将文本数据转换为dataframe时所用到的一些技术。这些函数的选项可以划分为以下几个大类：

(1)索引：将一个或多个列当做返回的dataframe处理，以及是否从文件、用户获取列名

(2)类型推断和数据转换：包括用户定义值的转换、缺失值标记列表等。(类型推断是这些函数中最重要的功能之一)

(3)日期解析：包括组合功能，比如将分散在多个列中的日期时间信息组合成结果中的单个列。

(4)迭代：支持对大文件进行逐块迭代。

(5)不规整数据问题：跳过一些行、页脚、注释或其他一些不重要的东西(比如成千上万个逗号隔开的数值数据)