Pandas第6章：处理缺失数据

6.1缺失值查看

• isna()、isnull()：如果是缺失值则返回True，否则返回False
• notna()：如果不是缺失值则返回True，否则返回False
• info()：输出整个表所有列的数据类型
• 常用操作:

df.isna().sum()	  #每列有多少缺失值
df.info()       #可以统计缺失值数据还可以获得数据类型
df[df['Physics'].isna()]		#查看某列'Physics',有缺失值的所在行
df[df.notna().all(1)]			#挑出所有非缺失值的行
df[df.notna().any(1)]			#使用all就是全部非缺失值，是any就是至少有一个不是缺失值

6.2缺失值符号

三种符号

• np.nan

  • 特点1： 不等于自己：np.nan 不能通过判断 自己是否等于自己 的方式 捕获，如下：

   np.nan == np.nan	
  

  • 特点2： 强行转化：导致数据集读入时，即使原来是整数的列，只要有np.nan就会变为浮点型
    

• None

  • 特点1：等于自己
  • 特点2：布尔值为False

• NaT

  • 特点1： NaT是针对时间序列的缺失值，是Pandas的内置类型
  • 特点2： 可以完全看做时序版本的np.nan，与自己不等，且使用equals是也会被跳过

Nullable类型与NA符号

• Nullable类型
  • 特点1： 它与原来标记int上的符号区别在于首字母大写：‘Int’
• NA特性
  • 特点1：统一缺失值：目的是为了解决之前的混乱局面，前面提到的三种缺失值都会被替换为统一的NA符号，且不改变数据类型
  • 特点2：取值不明直接报错
    

6.3过滤、填充与删除

• 过滤：
  • isna() ，notna() ：
    • isna() : 取值为 NaN 的，
    • notna() :取值不为 NaN 的
      所以isna() 取反相当于 notna()，就是 取值为 不为NaN 的

df.head()

df[~df['Physics'].isna()].head()

• 填充：
  • fillna():
    • 参数介绍：
      • method：填充方式
        • ffill：用前值填充
        • bfill：用后值填充
          
    • val：填充值
      • 均值填充

df_f = pd.DataFrame({'A':[1,3,np.nan],
                     'B':[2,4,np.nan],
                     'C':[3,5,np.nan]})
df_f.fillna(df_f.mean())

- 众数填充
- 特殊值填充

df['Physics'].fillna('missing').head()

6.4 问题与练习

【练习一】现有一份虚拟数据集，列类型分别为string/浮点/整型，请解决如下问题

a）请以列类型读入数据，并选出C为缺失值的行

df = pd.read_csv('data/Missing_data_one.csv').convert_dtypes()
df.head()

df_C_nan = df[df['C'].isna()]
df_C_nan

b）现需要将A中的部分单元转为缺失值，单元格中的最小转换概率为25%，且概率大小与所在行B列单元的值成正比。

• 理解不了题，如下为官方答案

min_b = df['B'].min()
df['A'] = pd.Series(list(zip(df['A'].values
                    ,df['B'].values))).apply(lambda x:x[0] if np.random.rand()>0.25*x[1]/min_b else np.nan)
df.head()

【练习二】 现有一份缺失的数据集，记录了36个人来自的地区、身高、体重、年龄和工资，请解决如下问题：

a）统计各列缺失的比例并选出在后三列中至少有两个非缺失值的行。

• Q1:统计各列缺失的比例

df = pd.read_csv('data/Missing_data_two.csv').convert_dtypes()
print("各列缺失值数量比例")
df.isna().sum()/len(df)

• Q2:选出在后三列中至少有两个非缺失值的行

column_list = df.columns[3:]
df_not2n = df[df[column_list].isna().sum(1)<=1]
df_not2n.head()

b）请结合身高列和地区列中的数据，对体重进行合理插值。

df_method1 = df.copy()
df_group = df_method1.groupby('地区')
df_group.head()

for temp in df_group:
    df_group_temp = temp[1]
    df_method1.loc[df_group_temp.index, '体重'] = df_group_temp[['身高', '体重']].sort_values(by='身高').interpolate()['体重']
df_method1.head()