Python可视化查看数据集完整性: missingno库(用于数据分析前的数据检查)
数据分析之前首先要保证数据集的质量,missingno库提供了一个灵活易用的可视化工具来观察数据缺失情况,是基于matplotlib的,接受pandas数据源
快速开始
样例数据使用 nypd motor vehicle collisions dataset 数据集. 运行下面命令获得数据
pip install quilt
quilt install residentmario/missingno_data
加载数据到内存
from quilt.data.residentmario import missingno_data
collisions = missingno_data.nyc_collision_factors()
collisions = collisions.replace("nan", np.nan)
有几个主要函数来不同方式的可视化展示数据集数据缺失情况
matrix
matrix是使用最多的函数,能快速直观地看到数据集的完整性情况,矩阵显示
import missingno as msno
%matplotlib inline
msno.matrix(collisions.sample(250))
右边的迷你图总结了数据集的总的完整性分布,并标出了完整性最大和最小的点
最多支持50列
可以通过figsize指定图像大小,例如这样msno.matrix(collisions.sample(250),figsize=(12,5))
如果数据是时序的,那可以用freq参数
null_pattern = (np.random.random(1000).reshape((50, 20)) > 0.5).astype(bool)
null_pattern = pd.dataframe(null_pattern).replace({false: none})
msno.matrix(null_pattern.set_index(pd.period_range('1/1/2011', '2/1/2015', freq='m')) , freq='bq')
bar chart
msno.bar可以简单的展示无效数据的条形图
msno.bar(collisions.sample(1000))
heatmap
热图
两个变量的无效相关范围从-1(如果一个变量出现,另一个肯定没有)到0(出现或不出现的变量对彼此没有影响)到1(如果一个变量出现,另一个肯定也是)
数据全缺失或全空对相关性是没有意义的,所以就在图中就没有了,比如date列就没有出现在图中
大于-1和小于1表示有强烈的正相关和负相关,但是由于极少数的脏数据所以并不绝对,这些例外的少数情况需要在数据加工时候予以注意
热图方便观察两个变量间的相关性,但是当数据集变大,这种结论的解释性会变差
dendrogram
树状图
树状图采用由scipy提供的层次聚类算法通过它们之间的无效相关性(根据二进制距离测量)将变量彼此相加。在树的每个步骤中,基于哪个组合最小化剩余簇的距离来分割变量。变量集越单调,它们的总距离越接近0,并且它们的平均距离越接近零
在0距离处的变量间能彼此预测对方,当一个变量填充时另一个总是空的或者总是填充的,或者都是空的
树叶的高度显示预测错误的频率
和矩阵matrix一样,只能处理50个变量,但是通过简单的转置操作即可处理更多更大的数据集