欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

基于pandas和seaborn进行数据可视化以及相关性分析

程序员文章站 2022-03-22 16:01:15
...

本博客学习pandas数据结构和seabon,以kaggle数据集为例,完成数据可视化以及相关性分析。数据总共12列,其中Survived列为target属性(y属性)。

加载原始数据

train_data = pd.read_csv('../datas/train.csv')  # train set
print train_data.head()

可视化相关性矩阵

计算各个属性的线性相关性,颜色越深相关性越大,并将与Survived相关性排序打印。

hitmapTemp = train_data[['Pclass','Age','SibSp','Parch','Fare','Survived']]
hitmapData = hitmapTemp.corr()
f, ax = plt.subplots(figsize=(12, 12))
sns.heatmap(hitmapData, vmax=1, square=True)
plt.savefig('./figs/Correlation-Matrix.png')
hitmap_dict = hitmapData['Survived'].to_dict()
del hitmap_dict['Survived']
print("List the numerical features decendingly by their correlation with Sale Price:\n")
for ele in sorted(hitmap_dict.items(), key = lambda x: -abs(x[1])):

基于pandas和seaborn进行数据可视化以及相关性分析
Pclass : -0.338481035961
Fare : 0.257306522385
Parch : 0.0816294070835
Age : -0.0772210945722
SibSp : -0.0353224988857

具体分析Pclass特征

  • 统计Pclass特征每个值的个数
print train_data['Pclass'].value_counts()

3 491
1 216
2 184
Name: Pclass, dtype: int64

  • 统计Pclass属性与Survived属性之间关系
print train_data[['Pclass', 'Survived']].groupby(['Pclass'], as_index=False).mean().sort_values(by='Survived', ascending=False)

Pclass Survived
0 1 0.629630
1 2 0.472826
2 3 0.242363

  • Pclass- Age 画盒图
plt.figure(figsize = (12, 6))
sns.boxplot(x = 'Pclass', y = 'Age',  data = train_data)
xt = plt.xticks(rotation=45)
plt.show()

基于pandas和seaborn进行数据可视化以及相关性分析
从图中我们可以看出级别越高,年纪也高

  • Age, Surviverd 画回归图
plt.figure(figsize = (12, 6))
sns.regplot(x = 'Age', y = 'Survived', data = train_data)
plt.title('Age')
plt.show()

基于pandas和seaborn进行数据可视化以及相关性分析
从图片我们大概可以看出,Age与Survived成反比例关系,也就是年纪越大存活概率越小。

  • (Class,Sex) Vs Age矩阵条形分布图
# (Class,Sex) Vs Age 分布图
plt.figure(figsize = (12, 6))
grid = sns.FacetGrid(train_data, row='Pclass', col='Sex', size=2.2, aspect=1.6)
grid.map(plt.hist, 'Age', bins=10) # 将Age分为10段的bins
grid.add_legend()
plt.show()

基于pandas和seaborn进行数据可视化以及相关性分析

  • Class Vs Age 矩阵分布图(指行或者列)
plt.figure(figsize = (12, 6))
grid = sns.FacetGrid(train_data, col='Pclass', size=2.2, aspect=1.6)
grid.map(plt.hist, 'Age', bins=10) # 将Age分为10段的bins
grid.add_legend()
plt.show()

基于pandas和seaborn进行数据可视化以及相关性分析

  • Class Vs Age Survived 矩阵散点图
plt.figure(figsize = (12, 6))
grid = sns.FacetGrid(train_data, col='Pclass', size=2.2, aspect=1.6) #确定几个图形的分布
grid.map(plt.scatter, 'Age','Survived')
grid.add_legend()
plt.show()

基于pandas和seaborn进行数据可视化以及相关性分析

总结

pandas数据结构可以方便实现数据预处理,包括基本元素统计、均值、缺失值以及过滤,加上seaborn和matplotlib实现数据相关性分析以及特征可视化分析。