pandas的基本使用

1. pandas中DataFrame类型数据操作函数

1.1 基本使用

python数据分析工具pandas中DataFrame和Series作为主要的数据结构，这里整理下：

（1）查看DataFrame数据及属性：

• df_obj = DataFrame() # 创建DataFrame对象
• df_obj.dtypes # 查看各行的数据格式
• df_obj[‘列名’].astype(int) # 转换某列的数据类型
• df_obj.head() # 查看前几行的数据，默认前5行
• df_obj.tail() # 查看后几行的数据,默认后5行
• df_obj.index # 查看索引
• df_obj.columns # 查看列名
• df_obj.values # 查看数据值
• df_obj.describe() # 描述性统计
• df_obj.T # 转置
• df_obj.sort_values(by=[”,”])

（2）使用DataFrame操作数据：

• df_obj.ix[1:3] # 获取1-3行的数据，切片操作获取行数据
• df_obj.ix[columns_index] # 获取列的数据
• df_obj.ix[1:3，[1,3]] # 获取1列和3列的1~3行数据
• df_obj[columns].drop_duplicates() # 剔除重复行数据
• df_obj.ix[1:3，[1,3]]=1 # 所选位置数据替换为1

（3）使用DataFrame筛选数据(类似SQL中的WHERE):

alist = ['023-18996609823']
df_obj['用户号码'].isin(alist) #将要过滤的数据放入字典中,使用isin对数据进行筛选,返回行索引以及每行筛选的结果,若匹配则返回ture
df_obj[df_obj['用户号码'].isin(alist)] #获取匹配结果为ture的行

（4）使用DataFrame模糊筛选数据(类似SQL中的LIKE):

df_obj[df_obj['套餐'].str.contains(r'.*?语音CDMA.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次

（5）使用DataFrame进行数据转换

df_obj['支局_维护线'] = df_obj['支局_维护线'].str.replace('巫溪分公司(.{2,})支局','\\1')  # 可以使用正则表达式

可以设置take_last=ture保留最后一个,或保留开始一个。
补充说明：注意take_last=ture已过时，请使用keep=last。

（6）使用pandas中读取数据:

read_csv(r'D:\LQJ.csv',sep=';',nrows=2) #首先输入csv文本地址,然后分割符选择等等
df.to_excel('foo.xlsx',sheet_name='Sheet1')  # 写入读取excel数据
pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])pd.read_excel # 读取的数据是以DataFrame形式存储
df.to_hdf('foo.h5','df')
pd.read_hdf('foo.h5','df')#写入读取HDF5数据

（7）使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):

data_obj['用户标识'].groupby(data_obj['支局_维护线'])
data_obj.groupby('支局_维护线')['用户标识'] #上面的简单写法
adsl_obj.groupby('支局_维护线')['用户标识'].agg([('ADSL','count')])#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL

（8）清理数据

df[df.isnull()]
df[df.notnull()]
df.dropna() # 将所有含有nan项的row删除
df.dropna(axis=1,thresh=3) # 将在列的方向上三个为NaN的项删除
df.dropna(how='ALL')# 将全部项都是nan的row删除填充值
df.fillna(0)
df.fillna({1:0,2:0.5}) # 对第一列nan值赋0，第二列赋值0.5
df.fillna(method='ffill') # 在列方向上以前一个值作为值赋给NaN

1.2 示例：

DataFrame提供的是一个类似表的结构，由多个Series组成，而Series在DataFrame中叫columns。
（1）参数：二维array和Series 列表的区别

import pandas as pd 
import numpy as np

s1=np.array([1,2,3,4])
s2=np.array([5,6,7,8])
df1=pd.DataFrame([s1,s2])
print df1
print  '.............................'
s3=pd.Series(np.array([1,2,3,4]))
s4=pd.Series(np.array([5,6,7,8]))
df2=pd.DataFrame([s3,s4])
print df2  

从运行结果可以看出Series效果与二维array相同。

（2）value为Series的字典结构时：

import pandas as pd
import numpy as np

s1=pd.Series(np.array([1,2,3,4]))
s2=pd.Series(np.array([5,6,7,8]))
df=pd.DataFrame({"a":s1,"b":s2});
print df

（3）df.ix[条件，then操作区域]：if-then 操作

import pandas as pd 
import numpy as np

df=pd.DataFrame({"A":[1,2,3,4],"B":[5,6,7,8],"C":[1,1,1,1]})
print df
print '.....................'
df.ix[df.A>1,'B']= -1
print df

有点类似列表推导式。。

（4）np.where(条件，then，else)

import pandas as pd 
import numpy as np

df=pd.DataFrame({"A":[1,2,3,4],"B":[5,6,7,8],"C":[1,1,1,1]})
print df
print '.............'
df["then"]=np.where(df.A<3,1,0)
print df

（5）根据条件选择取DataFrame：

直接取值df.[]和.loc[]

import pandas as pd 
import numpy as np

df=pd.DataFrame({"A":[1,2,3,4],"B":[5,6,7,8],"C":[1,1,1,1]})
print df
print '............'
df=df[df.A>=2]
print df
print '............'
df=df.loc[df.A>=2]
print df

（6）

import pandas as pd 
import numpy as np
from functools import reduce

df = pd.DataFrame({'AAA' : [4,5,6,7], 'BBB' : [10,20,30,40],'CCC' : [100,50,-30,-50]})
Crit1 = df.AAA <= 5.5
Crit2 = df.BBB == 10.0
Crit3 = df.CCC > -40.0
print df
print '....................'
print Crit1
print '....................'
AllCrit = Crit1 & Crit2 & Crit3
CritList = [Crit1,Crit2,Crit3]
print CritList
AllCrit = reduce(lambda x,y: x & y, CritList)
print '.....................'
print AllCrit
print df[AllCrit] 

df = pd.DataFrame({'AAA' : [4,5,6,7], 'BBB' : [10,20,30,40],'CCC' : [100,50,-30,-50]})
Crit1 = df.AAA <= 5.5
Crit2 = df.BBB == 10.0
Crit3 = df.CCC > -40.0
print df
print '....................'
print Crit1
print '....................'
AllCrit = Crit1 & Crit2 & Crit3
CritList = [Crit1,Crit2,Crit3]
print CritList
AllCrit = reduce(lambda x,y: x & y, CritList)
print '.....................'
print AllCrit
print df[AllCrit]

   AAA  BBB  CCC
0    4   10  100
1    5   20   50
2    6   30  -30
3    7   40  -50
....................
0     True
1     True
2    False
3    False
Name: AAA, dtype: bool
....................
[0     True
1     True
2    False
3    False
Name: AAA, dtype: bool, 0     True
1    False
2    False
3    False
Name: BBB, dtype: bool, 0     True
1     True
2     True
3    False
Name: CCC, dtype: bool]
.....................
0     True
1    False
2    False
3    False
dtype: bool
   AAA  BBB  CCC
0    4   10  100

python中的reduce内建函数是一个二元操作函数，他用来将一个数据集合（链表，元组等）中的所有数据进行下列操作：用传给reduce中的函数 func()（必须是一个二元操作函数）先对集合中的第1，2个数据进行操作，得到的结果再与第三个数据用func()函数运算，最后得到一个结果。

（7）Grouping的使用：

groupby 形成group和get_group 取出其中一分组

import pandas as pd 
import numpy as np

df = pd.DataFrame({'animal': 'cat dog cat fish dog cat cat'.split(),
                  'size': list('SSMMMLL'),
                  'weight': [8, 10, 11, 1, 20, 12, 12],
                  'adult' : [False] * 5 + [True] * 2});
print df
#列出动物中weight最大的对应size
group=df.groupby("animal").apply(lambda subf: subf['size'][subf['weight'].idxmax()])
print group

cookbook

参考：http://blog.csdn.net/ly_ysys629/article/details/54428838