利用Python进行数据分析之pandas的高级用法

pandas

前面我们学习了pandas两种基本的数据结构Series和DataFrame以及基本功能，这节我们学习一下其他的略高级用法。

汇总和计算描述统计

df.sum(axis=1)
#求和，全为NaN才会NaN
df.mean(axis=1,skipna=False)
#平均数，有NaN结果就为NaN

这种约简方法的选项:

选项 说明 axis 约简的轴。DataFrame的行用0，列用1 skipna 排除缺失值，默认值为True level 如果轴是层次化索引的(即Multilndex),则根据level分组约简

汇总统计idxmin和idxmax：

df
out：
    one  two
a  1.40  NaN
b  7.10 -4.5
c   NaN  NaN
d  0.75 -1.3

df.idxmax()
out:
one b
two d

df.cumsum()
out：
      one    two
a    1.40   NaN
b   8.50   -4.5
c    NaN  NaN
d   9.25   -5.8

还有descripe 它是多个汇总统计：

df.describe()
out:
         one       two
count  3.000000  2.000000
mean   3.083333 -2.900000
std    3.493685  2.262742
min    0.750000 -4.500000
25%    1.075000 -3.700000
50%    1.400000 -2.900000
75%    4.250000 -2.100000
max    7.100000 -1.300000

 obj = Series(['a', 'a', 'b', 'c']* 4)
obj.describe()
out:
count     16
unique     3
top        a
freq       8

分别说明如下：

方法 说明 count 非NA值的数量 describe 针对Series或各DataFrame列计算汇总统计 min, max 计算最小值和最大值 argmin, argmax 计算能够获取到最小值和最大值的索引位置(整数) idxmin, idxmax 计算能够获取到最小值和最大值的索引值 quantile 计算样本的分位数(0到1) sum 值的总和 mean 值的平均数 median 值的算术中位数(50%分位数) mad 根据平均值计算平均绝对离差 var 样本值的方差 std 样本值的标准差 skew 样本值的偏度(三阶矩) kurt 样本值的峰度(四阶矩) cumsum 样本值的累计和 cummin. cummax 样本值的累计最大值和累计最小值 cumprod 样本值的累计积 diff 计算一阶差分《对时间序列很有用) pct_change 计算百分数变化 相关系数与协方差

corr()计算相关系数
cov()计算协方差
DataFrame的corrwith方法可以计算其列或行与另外一个Series或者DataFrame之间的相关系数

唯一值、值计数以及成员资格

obj=Series(['c', 'a', 'd', 'a', 'a', 'b', 'b', 'c', 'c'])
uniques = obj.unique()
uniques
out:
array([c, a, d, b], dtype=object)

计算各值出现的频率：
obj.value_counts()
同时，它还是一个*的pandas方法，所以它还能这样写pd.value_count(obj.values)
默认降序排列，如果不要可以添加sort=False
isin用来判断是否存在，返回bool
obj.isin([‘b’,’c’])

方法 说明 isin 计算一个表示“Series各值是否包含于传入的值序列中”的布尔型数组 unique 计算Series中的唯一值数组，按发现的顺序返回 value_counts 返回一个Series，其索引为唯一值，其值为频率，按计数值降序排列 处理缺失数据

默认用NaN表示

  dropna fillna isnull notnull 滤除缺失数据

dropna默认丢弃任何含有缺失值的行，
加入how=’all’只丢弃全为NA的行。
（丢弃列用axis=1）
thresh=3 保留值(不为NaN)在3个或以上的。

填充缺失数据

这个其实之前也介绍过一点。
主要使用的fillna，它的参数有：

参数 说明 value 用于填充缺失值的标a值或字典对象 method 插值方式。如果函数调用时未指定其他参数的话，默认为”ffill” axis 待填充的轴，默认axis=0 inplace 修改调用者对象而不产生副本 limit (对于前向和后向填充)可以连续填充的最大数量 层次化索引 重排分级顺序

我的理解感觉就是强行把三维放在二维上，这个篇幅问题不详细说了，可以自行百度下，应该还是很好理解的。

重排分级顺序则是对轴上各级别的顺序的重新调整。

根据级别汇总统计

level选项来指定求和的级别。例如：

frame.sum(level='key2')
#则key2相同的进行求和
frame.sum(level='color', axis=1)
#指明列上的级别时，同时要指明axis=1

使用DataFrame的列

这个是什么意思呢，就是把DataFrame的一列或者多列当作行索引使用，如下：

frame =DataFrame({'a':range(7),'b':range(7,0,-1),
'c':['one','one','one','two','two','two','two'],'d': [0, 1, 2, 0,1,2,3]})

frame
out:
    a  b      c  d
0  0  7  one   0
1  1  6  one   1
2  2  5  one   2
3  3  4  two   0
4  4  3  two   1
5  5  2  two   2
6  6  1  two   3

frame2 = frame.set_index(['c','d'])
frame2
out: 
          a    b
c    d
one 0  0   7
       1  1   6
       2  2   5
two 0  3   4
       1  4   3
       2  5   2
       3  6   1

默认情况下那些列会被移除，但是可以通过添加参数drop=False保留下来。
移回来使用reset_index()与上面相反。

其他pandas的话题 整数索引

ser=Series(np.arange(3.))
ser[-1]这种情况下会报错，原因是它并不能分别你是要最后一个 还是索引是-1。
但是当非整数索引时它能知道是最后一个元素。

面板数据

panel数据结构作为三维版的DataFrame，有三个纬度供ix标签选取。暂时仅供了解。

总结

pandas的初步入门到这就结束了。总的来说其实就是这两种常用的数据结构Series，DataFrame的常用方法，尤其是DataFrame。感觉看完了也没有什么整体的概念，之后多使用的时候再来翻翻记录熟悉。