欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python学习笔记二(pandas基础)

程序员文章站 2022-05-26 21:40:26
...

http://www.open-open.com/lib/view/open1402477162868.html

对象属性

首先导入pandas:

from pandas import Series,DataFrame
import pandas as pd
  • 1
  • 2
  • 3

重新索引

Series 对象的重新索引通过其 .reindex(index=None,**kwargs) 方法实现。**kwargs中常用的参数有俩:method=None,fill_value=np.NaN

ser = Series([4.5,7.2,-5.3,3.6],index=['d','b','a','c'])
>>> a = ['a','b','c','d','e']
>>> ser.reindex(a)
a   -5.3
b    7.2
c    3.6
d    4.5
e    NaN
dtype: float64
>>> ser.reindex(a,fill_value=0)
a   -5.3
b    7.2
c    3.6
d    4.5
e    0.0
dtype: float64
>>> ser.reindex(a,method='ffill')
a   -5.3
b    7.2
c    3.6
d    4.5
e    4.5
dtype: float64
>>> ser.reindex(a,fill_value=0,method='ffill')
a   -5.3
b    7.2
c    3.6
d    4.5
e    4.5
dtype: float64
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

.reindex() 方法会返回一个新对象,其 index 严格遵循给出的参数,method:{'backfill', 'bfill', 'pad', 'ffill', None} 参数用于指定插值(填充)方式,当没有给出时,自动用 fill_value 填充,默认为 NaN(ffill = pad,bfill = back fill,分别指插值时向前还是向后取值)

DataFrame 对象的重新索引方法为:.reindex(index=None,columns=None,kwargs)。仅比 Series 多了一个可选的 columns 参数,用于给列索引。用法与上例类似,只不过插值方法 method 参数只能应用于行,即轴 0。DataFrame 对象的重新索引方法为:.reindex(index=None,columns=None,kwargs)。仅比 Series 多了一个可选的 columns 参数,用于给列索引。用法与上例类似,只不过插值方法 method 参数只能应用于行,即轴 0。

>>> data={'a':[1,3,5,7],'b':[2,4,6,8]}
>>> data
{'a': [1, 3, 5, 7], 'b': [2, 4, 6, 8]}
>>> df = DataFrame(data)
>>> df
a  b
0  1  2
1  3  4
2  5  6
3  7  8
>>> state=['a','c','b']
>>> df.reindex(columns=state,method='ffill')
a   c  b
0  1 NaN  2
1  3 NaN  4
2  5 NaN  6
3  7 NaN  8 
>>> df.reindex(index=[0,1,2,3,4],columns=state,method='ffill')
a   c  b
0  1 NaN  2
1  3 NaN  4
2  5 NaN  6
3  7 NaN  8
4  7 NaN  8
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25

fill_value仍然有效:

>>> df.reindex(index=[0,1,2,3,4],columns=state,fill_value=0)
a  c  b
0  1  0  2
1  3  0  4
2  5  0  6
3  7  0  8
4  0  0  0
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

删除指定轴上的项

即删除 Series 的元素或 DataFrame 的某一行(列)的意思,通过对象的 .drop(labels, axis=0) 方法:

>>> ser
d    4.5
b    7.2
a   -5.3
c    3.6
dtype: float64
>>> df
a  b
0  1  2
1  3  4
2  5  6
3  7  8
>>> ser.drop('c')
d    4.5
b    7.2
a   -5.3
dtype: float64
>>> df.drop(2)
a  b
0  1  2
1  3  4
3  7  8
>>> df.drop(['b'],axis=1)
a
0  1
1  3
2  5
3  7
>>> df.drop(['a','b'],axis=1)
Empty DataFrame
Columns: []
Index: [0, 1, 2, 3]
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33

.drop() 返回的是一个新对象,元对象不会被改变。

索引和切片

就像 Numpy,pandas 也支持通过 obj[::] 的方式进行索引和切片,以及通过布尔型数组进行过滤。

不过须要注意,因为 pandas 对象的 index 不限于整数,所以当使用非整数作为切片索引时,它是末端包含的。

>>> ser
d    4.5
b    7.2
a   -5.3
c    3.6
dtype: float64
>>> ser[:2]
d    4.5
b    7.2
dtype: float64
>>> ser[:'c']
d    4.5
b    7.2
a   -5.3
c    3.6
dtype: float64
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

当使用整数索引切片时,结果与 Python 列表或 Numpy 的默认状况相同;换成 ‘c’ 这样的字符串索引时,结果就包含了这个边界元素。

另外一个特别之处在于 DataFrame 对象的索引方式,因为他有两个轴向(双重索引)。

可以这么理解:DataFrame 对象的标准切片语法为:.ix[::,::]。ix 对象可以接受两套切片,分别为行(axis=0)和列(axis=1)的方向:

>>> df
   a  b
0  1  2
1  3  4
2  5  6
3  7  8
>>> df.ix[:2,:2]
   a  b
0  1  2
1  3  4
2  5  6
>>> df.ix[:1,:'b']
   a  b
0  1  2
1  3  4
>>> df.ix[:0,:'a']
a
0  1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

而不使用 ix ,直接切的情况就特殊了:

  • 索引时,选取的是列
  • 切片时,选取的是行

如下:

>>> df['a']
0    1
1    3
2    5
3    7
Name: a, dtype: int64
>>> df[:2]
   a  b
0  1  2
1  3  4
>>> df['b']
0    2
1    4
2    6
3    8
Name: b, dtype: int64
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

使用布尔型数组的情况,注意行与列的不同切法(列切法的 : 不能省):

>>> df['b']>4
0    False
1    False
2     True
3     True
Name: b, dtype: bool
>>> df[df['b']>4]
   a  b
2  5  6
3  7  8
>>> df.ix[:,df.ix[2]>5]
   b
0  2
1  4
2  6
3  8
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

算术运算和数据对齐

pandas 最重要的一个功能是,它可以对不同索引的对象进行算术运算。在将对象相加时,结果的索引取索引对的并集。自动的数据对齐在不重叠的索引处引入空值,默认为 NaN。

>>> foo = Series({'a':1,'b':2})
>>> foo
a    1
b    2
dtype: int64
>>> bar = Series({'b':3,'d':4})
>>> bar
b    3
d    4
dtype: int64
>>> foo + bar
a   NaN
b     5
d   NaN
dtype: float64
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

DataFrame 的对齐操作会同时发生在行和列上。
当不希望在运算结果中出现 NA 值时,可以使用前面 reindex 中提到过 fill_value 参数,不过为了传递这个参数,就需要使用对象的方法,而不是操作符:df1.add(df2,fill_value=0)。其他算术方法还有:sub(), div(), mul()

函数应用和映射

Numpy 的 ufuncs(元素级数组方法)也可用于操作 pandas 对象。
当希望将函数应用到 DataFrame 对象的某一行或列时,可以使用 .apply(func, axis=0, args=(), **kwds) 方法。

>>> f = lambda x:x.max()-x.min()
>>> df
   a  b
0  1  2
1  3  4
2  5  6
3  7  8
>>> df.apply(f)
a    6
b    6
dtype: int64
>>> df.apply(f,axis=1)
0    1
1    1
2    1
3    1
dtype: int64
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

排序和排名

Seriessort_index(ascending=True) 方法可以对 index 进行排序操作,ascending 参数用于控制升序或降序,默认为升序。

若要按值对 Series 进行排序,当使用 .order() 方法,任何缺失值默认都会被放到 Series 的末尾。

DataFrame 上,.sort_index(axis=0, by=None, ascending=True) 方法多了一个轴向的选择参数与一个 by 参数,by 参数的作用是针对某一(些)列进行排序(不能对行使用 by 参数):

>>> df.sort_index(by=['a','b'],ascending=False)
   a  b
3  7  8
2  5  6
1  3  4
0  1  2
>>> df.sort_index(axis=1)
   a  b
0  1  2
1  3  4
2  5  6
3  7  8
>>> df.sort_index(axis=1,ascending=False)
   b  a   
0  2  1
1  4  3
2  6  5
3  8  7
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19

排名(Series.rank(method='average', ascending=True))的作用与排序的不同之处在于,他会把对象的 values 替换成名次(从 1 到 n)。这时唯一的问题在于如何处理平级项,方法里的 method 参数就是起这个作用的,他有四个值可选:average, min, max, first

>>> ser=Series([3,2,0,3],index=list('abcd'))
>>> ser
a    3
b    2
c    0
d    3
dtype: int64
>>> ser.rank()
a    3.5
b    2.0  
c    1.0
d    3.5
dtype: float64
>>> ser.rank(method='max')
a    4
b    2
c    1
d    4
dtype: float64
>>> ser.rank(method='min')
a    3
b    2
c    1
d    3
dtype: float64
>>> ser.rank(method='first')
a    3
b    2
c    1
d    4
dtype: float64
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32

注意在 ser[0]=ser[3] 这对平级项上,不同 method 参数表现出的不同名次。
DataFrame 的 .rank(axis=0, method=’average’, ascending=True) 方法多了个 axis 参数,可选择按行或列分别进行排名。

统计方法

pandas 对象有一些统计方法。它们大部分都属于约简和汇总统计,用于从 Series 中提取单个值,或从 DataFrame 的行或列中提取一个 Series

比如 DataFrame.mean(axis=0,skipna=True) 方法,当数据集中存在 NA 值时,这些值会被简单跳过,除非整个切片(行或列)全是 NA,如果不想这样,则可以通过 skipna=False来禁用此功能:

>>> df = DataFrame(data,index=['one','two','three','four','five'],
...                columns=['year','state','pop','debt'])
>>> df
       year   state  pop debt
one    2000   Ohino  1.5  NaN
two    2001   Ohino  1.7  NaN
three  2002   Ohino  3.6  NaN
four   2001  Nevada  2.4  NaN
five   2002  Nevada  2.9  NaN
>>> df.mean()
year    2001.20
pop        2.42
dtype: float64
>>> df.mean(axis=1)
one      1000.75
two      1001.35
three    1002.80
four     1001.70
five     1002.45
>>> df.drop(['state'],axis=1)
       year  pop debt
one    2000  1.5  NaN
two    2001  1.7  NaN
three  2002  3.6  NaN
four   2001  2.4  NaN
five   2002  2.9  NaN
>>> df=df.drop(['state'],axis=1)
>>> df
       year  pop debt
one    2000  1.5  NaN
two    2001  1.7  NaN
three  2002  3.6  NaN
four   2001  2.4  NaN
five   2002  2.9  NaN
>>> df.mean()
year    2001.20
pop        2.42
debt        NaN
dtype: float64
>>> df.mean(axis=1)
one      1000.75
two      1001.35
three    1002.80
four     1001.70
five     1002.45
dtype: float64
>>> df.mean(axis=1,skipna=False)
one     NaN
two     NaN
three   NaN
four    NaN
five    NaN
dtype: float64
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54

统计方法还有很多,就不一一列举了。

处理缺失数据

pandas 中 NA 的主要表现为 np.nan,另外 Python 内建的 None 也会被当做 NA 处理。

处理 NA 的方法有四种:dropna , fillna , isnull , notnull

is(not)null

这一对方法对对象做元素级应用,然后返回一个布尔型数组,一般可用于布尔型索引。

dropna

对于一个 Series,dropna 返回一个仅含非空数据和索引值的 Series。

问题在于对 DataFrame 的处理方式,因为一旦 drop 的话,至少要丢掉一行(列)。这里的解决方式与前面类似,还是通过一个额外的参数:dropna(axis=0, how='any', thresh=None) ,how 参数可选的值为 any 或者 all。all 仅在切片元素全为 NA 时才抛弃该行(列)。另外一个有趣的参数是 thresh,该参数的类型为整数,它的作用是,比如 thresh=3,会在一行中至少有 3 个非 NA 值时将其保留。

fillna

fillna(value=None, method=None, axis=0) 中的 value 参数除了基本类型外,还可以使用字典,这样可以实现对不同的列填充不同的值。method 的用法与前面 .reindex() 方法相同,这里不再赘述。

inplace 参数

SeriesDataFrame 对象的方法中,凡是会对数组作出修改并返回一个新数组的,往往都有一个 replace=False 的可选参数。如果手动设定为 True,那么原数组就可以被替换。

8/16/2016 11:33:45 PM 睡觉。明天继续,加油。