量化分析师的Python日记【第5天：数据处理的瑞士军刀pandas】
Python数据处理的瑞士军刀：pandas
第一篇：基本数据结构介绍
一、Pandas介绍
终于写到了作者最想介绍，同时也是Python在数据处理方面功能最为强大的扩展模块了。在处理实际的金融数据时，一个条数据通常包含了多种类型的数据，例如，股票的代码是字符串，收盘价是浮点型，而成交量是整型等。在C++中可以实现为一个给定结构体作为单元的容器，如向量（vector，C++中的特定数据结构）。在Python中，pandas包含了高级的数据结构Series和DataFrame，使得在Python中处理数据变得非常方便、快速和简单。
pandas不同的版本之间存在一些不兼容性，为此，我们需要清楚使用的是哪一个版本的pandas。现在我们就查看一下量化实验室的pandas版本：
1
import pandas as pd
2
pd.__version__
'0.14.1'
pandas主要的两个数据结构是Series和DataFrame，随后两节将介绍如何由其他类型的数据结构得到这两种数据结构，或者自行创建这两种数据结构，我们先导入它们以及相关模块：
1
import numpy as np
2
from pandas import Series, DataFrame
二、Pandas数据结构：Series
从一般意义上来讲，Series可以简单地被认为是一维的数组。Series和一维数组最主要的区别在于Series类型具有索引（index），可以和另一个编程中常见的数据结构哈希（Hash）联系起来。
2.1 创建Series
创建一个Series的基本格式是s = Series(data, index=index, name=name)，以下给出几个创建Series的例子。首先我们从数组创建Series：
1
a = np.random.randn(5)
2
print"a is an array:"
3
print a
4
s = Series(a)
5
print"s is a Series:"
6
print s
a is an array:
[-1.24962807 -0.85316907 0.13032511 -0.19088881 0.40475505]
s is a Series:
0 -1.249628
1 -0.853169
2 0.130325
3 -0.190889
4 0.404755
dtype: float64
可以在创建Series时添加index，并可使用Series.index查看具体的index。需要注意的一点是，当从数组创建Series时，若指定index，那么index长度要和data的长度一致：
1
s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])
2
print s
3
s.index
a 0.509906
b -0.764549
c 0.919338
d -0.084712
e 1.896407
dtype: float64
Index([u'a', u'b', u'c', u'd', u'e'], dtype='object')
创建Series的另一个可选项是name，可指定Series的名称，可用Series.name访问。在随后的DataFrame中，每一列的列名在该列被单独取出来时就成了Series的名称：
1
s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'], name='my_series')
2
print s
3
print s.name
a -1.898245
b 0.172835
c 0.779262
d 0.289468
e -0.947995
Name: my_series, dtype: float64
my_series
Series还可以从字典（dict）创建：
1
d = {'a': 0., 'b': 1, 'c': 2}
2
print"d is a dict:"
3
print d
4
s = Series(d)
5
print"s is a Series:"
6
print s
d is a dict:
{'a': 0.0, 'c': 2, 'b': 1}
s is a Series:
a 0
b 1
c 2
dtype: float64
让我们来看看使用字典创建Series时指定index的情形（index长度不必和字典相同）：
1
Series(d, index=['b', 'c', 'd', 'a'])
b 1
c 2
d NaN
a 0
dtype: float64
我们可以观察到两点：一是字典创建的Series，数据将按index的顺序重新排列；二是index长度可以和字典长度不一致，如果多了的话，pandas将自动为多余的index分配NaN（not a number，pandas中数据缺失的标准记号)，当然index少的话就截取部分的字典内容。
如果数据就是一个单一的变量，如数字4，那么Series将重复这个变量：
1
Series(4., index=['a', 'b', 'c', 'd', 'e'])
a 4
b 4
c 4
d 4
e 4
dtype: float64
2.2 Series数据的访问
访问Series数据可以和数组一样使用下标，也可以像字典一样使用索引，还可以使用一些条件过滤：
1
s = Series(np.random.randn(10),index=['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j'])
2
s[0]
1.4328106520571824
1
s[:2]
a 1.432811
b 0.120681
dtype: float64
1
s[[2,0,4]]
c 0.578146
a 1.432811
e 1.327594
dtype: float64
1
s[['e', 'i']]
e 1.327594
i -0.634347
dtype: float64
1
s[s > 0.5]
a 1.432811
c 0.578146
e 1.327594
g 1.850783
dtype: float64
1
'e'in s
True
三、Pandas数据结构：DataFrame
在使用DataFrame之前，我们说明一下DataFrame的特性。DataFrame是将数个Series按列合并而成的二维数据结构，每一列单独取出来是一个Series，这和SQL数据库中取出的数据是很类似的。所以，按列对一个DataFrame进行处理更为方便，用户在编程时注意培养按列构建数据的思维。DataFrame的优势在于可以方便地处理不同类型的列，因此，就不要考虑如何对一个全是浮点数的DataFrame求逆之类的问题了，处理这种问题还是把数据存成NumPy的matrix类型比较便利一些。
3.1 创建DataFrame
首先来看如何从字典创建DataFrame。DataFrame是一个二维的数据结构，是多个Series的集合体。我们先创建一个值是Series的字典，并转换为DataFrame：
1
d = {'one': Series([1., 2., 3.], index=['a', 'b', 'c']), 'two': Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}
2
df = DataFrame(d)
3
print df
one two
a 1 1
b 2 2
c 3 3
d NaN 4
可以指定所需的行和列，若字典中不含有对应的元素，则置为NaN：
1
df = DataFrame(d, index=['r', 'd', 'a'], columns=['two', 'three'])
2
print df
two three
r NaN NaN
d 4 NaN
a 1 NaN
可以使用dataframe.index和dataframe.columns来查看DataFrame的行和列，dataframe.values则以数组的形式返回DataFrame的元素：
1
print"DataFrame index:"
2
print df.index
3
print"DataFrame columns:"
4
print df.columns
5
print"DataFrame values:"
6
print df.values
DataFrame index:
Index([u'alpha', u'beta', u'gamma', u'delta', u'eta'], dtype='object')
DataFrame columns:
Index([u'a', u'b', u'c', u'd', u'e'], dtype='object')
DataFrame values:
[[ 0. 0. 0. 0. 0.]
[ 1. 2. 3. 4. 5.]
[ 2. 4. 6. 8. 10.]
[ 3. 6. 9. 12. 15.]
font-family: Helvetica
上一篇： Q#开发环境搭建
下一篇： Q#入门理论：量子比特状态向量