机器学习--数据预处理

归一化

• 目的
  使得单一特征对于最后的结果影响不太大，尤其是错误值
  
• API
  
• 代码演示

from sklearn.preprocessing import MinMaxScaler


def mm():
    mm = MinMaxScaler()

    data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])

    print(data)

    return None

if __name__ == '__main__':
    mm()

• 问题：如果数据中异常点较多，会有什么影响
  对于最大值或者最小值会产生影响，也就对于归一化过程产生影响，所以这种归一化方法的鲁棒性比较差，只适合传统精确小数据场景

标准化

• 目的：通过对原始数据进行变换把数据变换到均值为0，标准差为1范围内，如果出现异常点，由于具有一定的数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小
  
• API
  
• 代码演示

from sklearn.preprocessing import StandardScaler


def stand():
    std = StandardScaler()

    data = std.fit_transform([[1,-1,3], [2,4,2], [4,6,-1]])

    print(data)

    return None

if __name__ == '__main__':
    stand()

• 总结
  在已有样本足够多的情况下比较稳定，适合现在嘈杂大数据场景
  一般都是进行标准化处理，而非归一化处理

缺失值处理

• 删除或者插补
  
  
  一般使用pandas：dropna，fillna
  但是要求数据格式为np.nan float类型

replace（“?”,np.nan）进行替换后使用fit_transform进行操作

• 代码演示

from sklearn.preprocessing import Imputer
import numpy as np


def im():
    im = Imputer(missing_values='NaN',strategy='mean',axis=0)
    
    data = im.fit_transform([[1,2],[np.nan,3],[7,6]])

    print(data)

    return None

if __name__ == '__main__':
    im()