欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

利用Python进行数据分析_Pandas_处理缺失数据

程序员文章站 2022-04-05 11:26:11
申明:本系列文章是自己在学习《利用Python进行数据分析》这本书的过程中,为了方便后期自己巩固知识而整理。 1 读取excel数据 2 检测缺失值 2.1 isnull返回一个含有布尔值的对象 2.2 notnull 是isnull 的否定式 3 滤除缺失数据 3.1 滤除所有包含缺失值的行 3. ......

申明:本系列文章是自己在学习《利用python进行数据分析》这本书的过程中,为了方便后期自己巩固知识而整理。

 1 读取excel数据

import pandas as pd
import numpy as np
file = 'd:\example.xls'
df = pd.dataframe(pd.read_excel(file))
df

利用Python进行数据分析_Pandas_处理缺失数据

2 检测缺失值

2.1 isnull返回一个含有布尔值的对象

import pandas as pd
import numpy as np
file = 'd:\example.xls'
df = pd.dataframe(pd.read_excel(file))
df = df.isnull()
df

利用Python进行数据分析_Pandas_处理缺失数据

2.2 notnull  是isnull 的否定式

import pandas as pd
import numpy as np
file = 'd:\example.xls'
df = pd.dataframe(pd.read_excel(file))
df = df.notnull()
df

利用Python进行数据分析_Pandas_处理缺失数据

3 滤除缺失数据

3.1 滤除所有包含缺失值的行

df.dropna()

利用Python进行数据分析_Pandas_处理缺失数据

3.2 查看不含缺失值的所有行、列

df.dropna(thresh=4)

利用Python进行数据分析_Pandas_处理缺失数据

4 填充缺失数据

dataframe.fillna(value=none, method=none, axis=none, inplace=false, limit=none, downcast=none, **kwargs)

4.1 统一填充某一个值value

df.fillna(0)或df.fillna(value=0)

利用Python进行数据分析_Pandas_处理缺失数据

4.2 用前面的值填充缺失部分

df.fillna(method='ffill')

利用Python进行数据分析_Pandas_处理缺失数据

4.3 用后面的值填充缺失部分

df.fillna(method='bfill')

利用Python进行数据分析_Pandas_处理缺失数据

4.3 某n列用特定的值填充缺失部分

df.fillna({'起息日':'2018-12-11','评级得分':'100'})

利用Python进行数据分析_Pandas_处理缺失数据

4.4 指定一整个轴的值填充缺失部分

df.fillna(method='ffill',axis=1)

利用Python进行数据分析_Pandas_处理缺失数据