我的Python分析成长之路9

pandas入门

统计分析是数据分析的重要组成部分，它几乎贯穿整个数据分析的流程。运用统计方法，将定量与定性结合，进行的研究活动叫做统计分析。而pandas是统计分析的重要库。

1.pandas数据结构

　　　　在pandas中，有两个常用的数据结构：series和dataframe  为大多数应用提供了一个有效、易用的基础。

　　　　1.series:series是一种一维的数组型对象，它包含一个值序列，并含有数据标签。

 

 1 import pandas as pd
 2 ser1 = pd.series([1,2,3,4])
 3 print(ser1)
 4 print(ser1.index)  #ser1的索引
 5 print(ser1.values)  #ser1的值
 6 ser2= pd.series([1,2,3,4],index=['a','b','c','d'])  #自己设置索引
 7 print(ser2['a'])  #获得索引为a的值
 8 print(ser2[['a','b','c']])#获取多个索引值\
 9 #series对象自身和其索引都有name属性，
10 ser2.name ="p"
11 ser2.index.name = 'state'
12 print(ser2)

view code

 　　　　2.dataframe:表示的是矩阵的数据表，它包含已排序的列集合，每一个可以是不同的值类型（数值、字符串、布尔值)。dataframe既有行索引又有列索引。最常用的就是利用包含等长度的列表或numpy数据的字典来形成dataframe

 1 import pandas as pd
 2 import numpy as np
 3 data ={'state':['a','a','a','b','b','b'],
 4        "year":[2000,2001,2002,2001,2002,2003],
 5        "pop":[1.5,1.7,3.6,2.4,2.9,3.2]}
 6 df1 = pd.dataframe(data)
 7 print(df1)
 8 df2 = pd.dataframe(data,columns=['year','state','pop'],index=["one","two","three","four","five","six"]) #自己设置列名
 9 print(df2.columns)
10 print(df2['year'])  #获取year列值
11 print(df2.year)
12 print(df2.loc["one"])  #获取one行值
13 df2['debt'] = np.arange(6)
14 print(df2)

view code

 　　　　3.使用loc和iloc选择数据

　　　　　　loc方法是针对dataframe索引名称的切片方法，如果传入的不是索引名称，那么切片操作无法执行。利用loc方法，能够实现所有单层索引切片操作。

　　　　　　loc使用方法:dataframe.loc[行索引名称或条件,列索引名称，如果内部传递的是一个区间，则左闭右开。loc内部可以出入表达式，返回布尔值的series

　　　　　　iloc和loc的区别是，iloc接受的必须是行索引和列索引的位置。iloc方法的使用，dataframe.ilo[行索引位置，列索引位置]，传递是区间，左闭右闭

　　　　

 1 import pandas as pd
 2 import numpy as np
 3 data ={'state':['a','a','a','b','b','b'],
 4        "year":[2000,2001,2002,2001,2002,2003],
 5        "pop":[1.5,1.7,3.6,2.4,2.9,3.2]}
 6 df2 = pd.dataframe(data,columns=['year','state','pop'],
 7                    index=["one","two","three","four","five","six"])
 8 print(df2['year'])   #从dataframe中选择单列或列序列
 9 print(df2.loc["one"])  #从dataframe中选择单行或多行
10 print(df2.loc[:,"year"])  #从dataframe中选择单列
11 print(df2.loc["one","year"])   #同时确定行和列
12 print(df2.loc["one",['year','state']]) #一行两列
13 print(df2.loc["condition",[]])  #loc 可以接受表达式
14 print(df2.iloc[1])  #选取单行
15 print(df2.iloc[:,[2,3]])  #选取索引为第2,3列
16 # print(df2.ilov[where_i,where_j][condition])
17 df2.iloc[condition,[]].values  #iloc方法不能接受表达式，条件返回的是一个series,取出series的值

view code

1 import numpy as np
2 import pandas as pd
3 df4 = pd.dataframe(np.arange(8).reshape(2,4),index=["three","one"],columns=["d","a","b","c"])
4 print(df4.sort_index(axis=1,ascending=false)) #反序
5 print(df4.sort_values(by='b')) #根据b列数值排序
6 print(df4.sort_values(by=['a','b']))
7 df5 = pd.series([7,-5,7,4,2,0,4])
8 print(df5.rank())
9 print(df5.rank(method='first')) #按照值在数据中出现的次序分配排名

　　　　　　4.删除某列或某行的数据

　　　　　　dataframe.drop(label,axis=0,level=none,inplace=false)

　　　　　　label:表示要删除的数据。axis:表示要操作的轴，inplace:表示操作是否对原数据生效

2.描述性统计分析

　　　　描述性统计是用来概括、表述事物的整体状况，以及事物间关联、类属关系的统计方法。通过几个统计值可简捷地表达地表示一组数据的集中趋势和离散程度。

　　　　1.数值型特征的描述性统计

　　　　数值型特征的描述性统计主要包括了计算数值型数据的完整情况、最小值、均值、中位数、最大值、四分位数、极差、标准差、方差、协方差和变异系数。

　　　　min:最小值

　　　　max:最大值

　　　　mean:平均值

　　　　ptp:极差

　　　　median:中位数

　　　　std:标准差

　　　　var:方差

　　　　cov:协方差

　　　　corr:相关性

　　　　mod:众数

　　　　skew:样本偏度

　　　　kurt:样本峰度

　　　　quantile:四分位数

　　　　count:非空值数目

　　　　mad:平均绝对离差

　　　　describe:计算series或dataframe各列的汇总统计集合

　　　　pct_change:计算百分比

　　　　2.类别型数据的描述性统计

　　　　描述类别型特征的分布状况，可以使用频数统计表

　　　　value_count:返回一个series,索引是唯一值序列，值是计数个数，按照个数降序排序

 

 1  1 import pandas_datareader.data as web
 2  2 tickers =['aapl',"ibm","goog"]
 3  3 all_data = {ticker:web.get_data_yahoo(ticker) for ticker in tickers}
 4  4 price = pd.dataframe({ticker:data['adj close'] for ticker,data in all_data.items()})
 5  5 volums = pd.dataframe({ticker:data['volume'] for ticker,data in all_data.items()})
 6  6 returns = price.pct_change()
 7  7 print(returns.tail())
 8  8 print(returns['aapl'].corr(returns['ibm']))
 9  9 print(returns.corr())   #计算相关性
10 10 print(returns.cov())  #计算协整性
11 11 print(returns.corrwith(volums))

view code

3.数据分析中的分组聚合、转化操作

　　　　1.使用groupby方法分组

　　　　dataframe.groupby(by=none,axis=0,level=none,as_index=true,sort=true,group_by=true,squeeze=false,**ksargs)

　　　　

 1 import pandas as pd
 2 df = pd.dataframe({'key1':["a","a","b","b","a"],
 3               "key2":["one","two","one","two","one"],
 4               "data1":np.random.randn(5),
 5               "data2":np.random.randn(5)})
 6 print(df)
 7 # group = df['data1'].groupby(df['key1']) #对data1列进行分组，获得一个group对象
 8 # group= df.groupby(df['key1'])['data1']   #两个等价
 9 group = df.groupby(df['key1'])  #对整个dataframe分组
10 print(group.count())  #返回分组的数目
11 print(group.head())  #返回每组的前几个值
12 print(group.max())   #返回每组的最大值
13 print(group.mean())  #返回每组的均值
14 print(group.median())  #返回每组的中位数
15 print(group.cumcount())  #对每个分组中的成员进行标记
16 print(group.size())  #返回每个分组的大小
17 print(group.min())  #返回每个分组的最小值
18 print(group.std())  #返回每组的标准差
19 print(group.sum())  #返回每组的和
20 group2 = df['data1'].groupby([df['key1'],df['key2']])  #根据key1,key2分组

view code

　　　　2.使用agg和aggregate方法聚合，能够将函数应用于每一列

　　　　dataframe.agg(func,axis=0,*args,**kwargs)

　　　　dataframe.aggregate(func,axis=0,*args,**kwargs）

　　　　

 1 import pandas as pd
 2 df = pd.dataframe({'key1':["a","a","b","b","a"],
 3               "key2":["one","two","one","two","one"],
 4               "data1":np.random.randn(5),
 5               "data2":np.random.randn(5)})
 6 group = df['data1'].groupby(df['key1']) #对data1列进行分组，获得一个group对象
 7 group= df.groupby(df['key1'])['data1']   #两个等价
 8 group = df.groupby(df['key1'])  #对整个dataframe分组
 9 print(group.count())  #返回分组的数目
10 print(group.head())  #返回每组的前几个值
11 print(group.max())   #返回每组的最大值
12 print(group.mean())  #返回每组的均值
13 print(group.median())  #返回每组的中位数
14 print(group.cumcount())  #对每个分组中的成员进行标记
15 print(group.size())  #返回每个分组的大小
16 print(group.min())  #返回每个分组的最小值
17 print(group.std())  #返回每组的标准差
18 print(group.sum())  #返回每组的和
19 print(group.quantile(0.9))  #返回每组的分位数
20 group2 = df['data1'].groupby([df['key1'],df['key2']])  #根据key1,key2分组
21 print(group.agg(np.mean))  #返回均值
22 def f(x):
23     return x.max()-x.min()
24 print(group.agg(f))      #使用自定义函数
25 group3 = df.groupby(df["key1"])
26 print(group3.agg({"data1":np.mean,"data2":np.max}))  #对data1 和 data2分别操作

view code

　　　　3.使用apply方法聚合，apply方法类似于agg方法，能够将函数应用于每一列。不同之处在于，与agg方法相比，apply方法传入的函数只能作用于这个dataframe或series，而无法像agg一样能够对不同字段函数使用不同函数来获取不同结果。

　　　　dataframe.apply(func,axis=0,broadcast=false,raw=false,reduce=none,args=(),**kwds)

　　　　

import pandas as pd
df = pd.dataframe({'key1':["a","a","b","b","a"],
              "key2":["one","two","one","two","one"],
              "data1":np.random.randn(5),
              "data2":np.random.randn(5)})
group = df['data1'].groupby(df['key1']) #对data1列进行分组，获得一个group对象
# group= df.groupby(df['key1'])['data1']   #两个等价
group = df.groupby(df['key1'])  #对整个dataframe分组
print(group.count())  #返回分组的数目
print(group.head())  #返回每组的前几个值
print(group.max())   #返回每组的最大值
print(group.mean())  #返回每组的均值
print(group.median())  #返回每组的中位数
print(group.cumcount())  #对每个分组中的成员进行标记
print(group.size())  #返回每个分组的大小
print(group.min())  #返回每个分组的最小值
print(group.std())  #返回每组的标准差
print(group.sum())  #返回每组的和
print(group.quantile(0.9))  #返回每组的分位数
group2 = df['data1'].groupby([df['key1'],df['key2']])  #根据key1,key2分组
print(group.agg(np.mean))  #返回均值
def f(x):
    return x.max()-x.min()
print(group.agg(f))      #使用自定义函数
group3 = df.groupby(df["key1"])
print(group3.agg({"data1":np.mean,"data2":np.max}))  #对data1 和 data2分别操作
print(group3[["data1","data2"]].apply(lambda x:(x.mean()-x.min())/(x.max()-x.min())))#使用自定义函数

view code

　　　　4.使用transform方法聚合

　　　　transform方法能够对整个dataframe的所有元素进行操作，transform只有一个函数"func

4.创建透视表和交叉表

　　　　1.使用pivot_table函数制作透视表

　　　　pandas.pivot_table(data,values=none,index=none,columns=none,aggfunc="mean",fill_value=none,margins=false,dropna=true,margins_name="all")

　　　　index:表示行分组键，clolums：表示列分组键 func:聚合函数 fill_value :对缺失值进行填充

　　　　

l = pd.pivot_table(df[["key1",'data1',"data2"]],index="key1")
print（l)

view code

 

　　　　2.使用crosstab函数创建交叉表

　　　　pandas.crosstab(index,columns,values=none,rownames=none,colnames=none,aggfunc=none,margins=false,dropna=true,normalise=false)

　　　　index:行索引键 columns:列索引键,value:聚合数据  rownames:行分组键，colnames:列分组键 aggfunc：聚合函数

l2 = pd.crosstab(index=df["key1"],columns=df["key2"],values=df["data1"],aggfunc=np.sum)
print(l2)

view code