基于pandas和seaborn进行数据可视化以及相关性分析
程序员文章站
2022-03-22 16:01:15
...
本博客学习pandas数据结构和seabon,以kaggle数据集为例,完成数据可视化以及相关性分析。数据总共12列,其中Survived列为target属性(y属性)。
加载原始数据
train_data = pd.read_csv('../datas/train.csv') # train set
print train_data.head()
可视化相关性矩阵
计算各个属性的线性相关性,颜色越深相关性越大,并将与Survived相关性排序打印。
hitmapTemp = train_data[['Pclass','Age','SibSp','Parch','Fare','Survived']]
hitmapData = hitmapTemp.corr()
f, ax = plt.subplots(figsize=(12, 12))
sns.heatmap(hitmapData, vmax=1, square=True)
plt.savefig('./figs/Correlation-Matrix.png')
hitmap_dict = hitmapData['Survived'].to_dict()
del hitmap_dict['Survived']
print("List the numerical features decendingly by their correlation with Sale Price:\n")
for ele in sorted(hitmap_dict.items(), key = lambda x: -abs(x[1])):
Pclass : -0.338481035961
Fare : 0.257306522385
Parch : 0.0816294070835
Age : -0.0772210945722
SibSp : -0.0353224988857
具体分析Pclass特征
- 统计Pclass特征每个值的个数
print train_data['Pclass'].value_counts()
3 491
1 216
2 184
Name: Pclass, dtype: int64
- 统计Pclass属性与Survived属性之间关系
print train_data[['Pclass', 'Survived']].groupby(['Pclass'], as_index=False).mean().sort_values(by='Survived', ascending=False)
Pclass Survived
0 1 0.629630
1 2 0.472826
2 3 0.242363
- Pclass- Age 画盒图
plt.figure(figsize = (12, 6))
sns.boxplot(x = 'Pclass', y = 'Age', data = train_data)
xt = plt.xticks(rotation=45)
plt.show()
从图中我们可以看出级别越高,年纪也高
- Age, Surviverd 画回归图
plt.figure(figsize = (12, 6))
sns.regplot(x = 'Age', y = 'Survived', data = train_data)
plt.title('Age')
plt.show()
从图片我们大概可以看出,Age与Survived成反比例关系,也就是年纪越大存活概率越小。
- (Class,Sex) Vs Age矩阵条形分布图
# (Class,Sex) Vs Age 分布图
plt.figure(figsize = (12, 6))
grid = sns.FacetGrid(train_data, row='Pclass', col='Sex', size=2.2, aspect=1.6)
grid.map(plt.hist, 'Age', bins=10) # 将Age分为10段的bins
grid.add_legend()
plt.show()
- Class Vs Age 矩阵分布图(指行或者列)
plt.figure(figsize = (12, 6))
grid = sns.FacetGrid(train_data, col='Pclass', size=2.2, aspect=1.6)
grid.map(plt.hist, 'Age', bins=10) # 将Age分为10段的bins
grid.add_legend()
plt.show()
- Class Vs Age Survived 矩阵散点图
plt.figure(figsize = (12, 6))
grid = sns.FacetGrid(train_data, col='Pclass', size=2.2, aspect=1.6) #确定几个图形的分布
grid.map(plt.scatter, 'Age','Survived')
grid.add_legend()
plt.show()
总结
pandas数据结构可以方便实现数据预处理,包括基本元素统计、均值、缺失值以及过滤,加上seaborn和matplotlib实现数据相关性分析以及特征可视化分析。
上一篇: Python可视化
下一篇: Tableau创建计算字段