[比赛]二手车交易价格预测-EDA

1.写在前面

跟着 Datawhale 报名了天池的数据挖掘比赛，但是这几天恰逢ddl超多，所以最后急急忙忙赶着来做第一部分，感觉这种一起学习的氛围很好吧~本篇的话应该是借鉴了大佬AI蜗牛车的baseline，以及群内很多小伙伴的笔记，我挑了一个没想到就是大佬！哈哈哈！
今天早上讨论班讲的也不是很好，下午作业做的也不是很顺，感觉很多时候都是充斥在自己不喜欢的东西里面，囫囵吞枣混过去了，希望慢慢的能够改变自己把所有事情都能做到最好吧。
话不多说，开始这次EDA部分的详细介绍，也是自己对于EDA方面的一个理解笔记，希望之后能经常性的回头看看。

2.EDA目标

• EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
• 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
• 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
• 完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。
  我个人觉得这一部分是蛮重要的，当然大佬上来就是干哈哈，EDA的过程感觉像是不断地和数据靠近，和后面的分析建模过程相比的话我更喜欢这一部分，像是忽远忽近的距离。

3.数据总览

# 导入模块
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import missingno as msno

import warnings
warnings.filterwarnings('ignore')

这里的话要注意分隔符，不一定是默认的逗号。

# 读取数据
train = pd.read_csv(r'C:\Users\wen97\Desktop\used_car_train_20200313.csv', sep=' ')
test = pd.read_csv(r'C:\Users\wen97\Desktop\used_car_testA_20200313.csv', sep=' ')

这里看一下训练集和测试集的维度，常规操作。

# 观察数据（可见训练集包括响应变量y）
train.shape
test.shape

注意点：这一步我觉得很妙，因为我们以前可能只知道用head()，这次学习到了可以append将头尾都展示出来，感觉这样子是更全面的。

# 展示首尾各五行数据
train.head().append(train.tail())
test.head().append(test.tail())

下面我们以训练集为例展示一下结果，当然后面有一长串没有能够全部展示。

describe可以对数据集各个变量进行描述性统计，默认是对数值型变量进行操作，所以我这里用参数include=‘object’ 来给出object类型变量的相关信息。
这个操作可以帮助我们大致对数据做到心中有数，比如数据分布，异常值，缺失值等等。

# 对变量进行描述性统计
train.describe()
train.describe(include='object')
test.describe()
test.describe(include='object')

info的作用是了解字段的类型，以及缺失值情况。

# 查看数据类型
train.info()
test.info()

4.数据异常

数据异常的话主要是对于缺失值和异常值的处理。

# 查看缺失值
# 可以看出数据缺失主要集中在几个变量中
train.isnull().sum()
test.isnull().sum()

可以清晰的看到缺失值集中在四个变量，特别是bodyType、fuelType和gearbox。
注意点：但是有很大可能其他变量的缺失值是以其他形式存在的，比如年龄取值为999等等等等，所以还需要慢慢的探索。

# 缺失值可视化
msno.bar(train)
msno.matrix(train)
msno.bar(test)
msno.matrix(test)

这两种图分别如下，第一个图很好看出，第二个图的话，白线越多，代表缺失值越多。


注意点：对于object字段要格外关注，数据能带给我们的有很多内容，所以往往需要一步一步的进行探索。

# 首先对 object 类型数据观察
train['notRepairedDamage'].value_counts()
test['notRepairedDamage'].value_counts()

可以看到这里居然还有一个类别叫减号-，我们有理由怀疑，所以这里先转化成nan值，之后再处理。

# 异常值替换为 nan 值
train['notRepairedDamage'].replace('-', np.nan, inplace=True)
test['notRepairedDamage'].replace('-', np.nan, inplace=True)

5.预测变量分布

首先我们要看一下需要预测的变量的分布

# 查看预测变量的值
train['price']
train['price'].value_counts()

对于总体的分布，可以发现是不符合正态分布的，最适合的是*约翰逊分布，所以在之后要进行变换。
注意点：这也是一个技巧，对预测标签做log转换，使其更加服从于正态

## 总体分布
import scipy.stats as st

y = train['price']
plt.figure(figsize=(20, 5))
plt.subplot(131)
plt.title('Johnson SU') 
sns.distplot(y, kde=False, fit=st.johnsonsu)
plt.subplot(132)
plt.title('Normal')
sns.distplot(y, kde=False, fit=st.norm)
plt.subplot(133)
plt.title('Log Normal')
sns.distplot(y, kde=False, fit=st.lognorm)

# 预测变量频数分布
plt.hist(y, orientation='vertical', histtype='bar', color='blue')
plt.show()

可以看出，对数变换之后效果好了很多。

# 对数变换
plt.hist(np.log(train['price']), orientation='vertical', histtype='bar', color='blue')
plt.show()

下面查看峰度和偏度，这一步为什么其实我也不太清楚，大胆的猜测也是为了观察预测变量分布的情况。

# 查看偏度和峰度
sns.distplot(y)
print("Skewness: %f" % y.skew())
print("Kurtosis: %f" % y.kurt())

6.识别数值特征和类别特征

# 这个区别方式适用于没有直接label coding的数据
# 这里不适用，需要人为根据实际含义来区分
# 数字特征
# numeric_features = Train_data.select_dtypes(include=[np.number])
# numeric_features.columns
# 类型特征
# categorical_features = Train_data.select_dtypes(include=[np.object])
# categorical_features.columns

这里的话只能人为来设定，这里的话借鉴大佬的思路name和预测值没有关系，所以虽然是类别，可以先去掉, 日期的也去掉。

# 分离数值型变量和类别型变量
numeric_features = ['power','kilometer','v_0','v_1','v_2','v_3','v_4','v_5','v_6','v_7','v_8','v_9','v_10','v_11','v_12','v_13','v_14']

categorical_features = ['name','model','brand','bodyType','fuelType','gearbox','notRepairedDamage','regionCode','seller','offerType','creatDate']

引用大佬的话：
不惑境我们已经分析了预测值的分布，从分布中我们可以看到，如果把预测值对数转换一下效果可能会更好一些， 然后我们又把特征字段分成了数值型和非数值型， 下面我们进入洞玄， 主要对数值特征和类别特征进一步分析挖掘信息，包括类别偏斜，类别分布可视化，数值相关及可视化等。 这一块我们要对类别型特征和数值型特征分开来探索，毕竟两者的处理方式上有很大的区别的。
说的真的很好呀！
类别特征

# 特征nunique分布
for cat_fea in categorical_features:
    print(cat_fea + "的特征分布如下：")
    print("{}特征有个{}不同的值".format(cat_fea, train[cat_fea].nunique()))
    print(train[cat_fea].value_counts())

# 特征nunique分布
for cat_fea in categorical_features:
    print(cat_fea + "的特征分布如下：")
    print("{}特征有个{}不同的值".format(cat_fea, test[cat_fea].nunique()))
    print(test[cat_fea].value_counts())

这个是用来分析数据倾斜情况的，可以找到如下

这是及其不正常的，所以可以单独看一下。
在大佬笔记里学到了很多的可视化知识，明天有时间来仔细的整理一下，不得不说大佬真棒！

数值特征
首先研究相关性

# 数值特征
numeric_features.append('price')
# 相关性分析
numeric_train = train[numeric_features]
correlation = numeric_train.corr()
print(correlation['price'].sort_values(ascending = False),'\n')
f, ax = plt.subplots(figsize=(7, 7))
plt.title('Correlation of Numeric Features with Price',y=1,size=16)
sns.heatmap(correlation,square=True,vmax=0.8)

7.数据特征关系可视化

今天写到最后不知道怎么了网出问题了，jupyter爬不出来md……。
明天我会把这个问题补上！
先记下代码！

# 每个数字特征得分布可视化
f = pd.melt(train, value_vars=numeric_features)
g = sns.FacetGrid(f, col="variable", col_wrap=5, sharex=False, sharey=False)
g = g.map(sns.distplot, "value")

# 数字特征相互之间的关系可视化
sns.set()
columns = ['price', 'v_12', 'v_8' , 'v_0', 'power', 'v_5',  'v_2', 'v_6', 'v_1', 'v_14']
sns.pairplot(train[columns],size=2,kind='scatter',diag_kind='kde')
plt.show()

# 多变量之间的关系可视化
fig, ((ax1, ax2), (ax3, ax4), (ax5, ax6), (ax7, ax8), (ax9, ax10)) = plt.subplots(nrows=5, ncols=2, figsize=(24, 20))
# ['v_12', 'v_8' , 'v_0', 'power', 'v_5',  'v_2', 'v_6', 'v_1', 'v_14']
v_12_scatter_plot = pd.concat([y,train['v_12']],axis=1)
sns.regplot(x='v_12',y='price',data=v_12_scatter_plot,scatter=True,fit_reg=True,ax=ax1)

v_8_scatter_plot = pd.concat([y,train['v_8']],axis=1)
sns.regplot(x='v_8',y='price',data=v_8_scatter_plot,scatter=True,fit_reg=True,ax=ax2)

v_0_scatter_plot = pd.concat([y,train['v_0']],axis=1)
sns.regplot(x='v_0',y='price',data=v_0_scatter_plot,scatter=True,fit_reg=True,ax=ax3)

power_scatter_plot = pd.concat([y,train['power']],axis=1)
sns.regplot(x='power',y='price',data=power_scatter_plot,scatter=True,fit_reg=True,ax=ax4)

v_5_scatter_plot = pd.concat([y,train['v_5']],axis=1)
sns.regplot(x='v_5',y='price',data=v_5_scatter_plot,scatter=True,fit_reg=True,ax=ax5)

v_2_scatter_plot = pd.concat([y,train['v_2']],axis=1)
sns.regplot(x='v_2',y='price',data=v_2_scatter_plot,scatter=True,fit_reg=True,ax=ax6)

v_6_scatter_plot = pd.concat([y,train['v_6']],axis=1)
sns.regplot(x='v_6',y='price',data=v_6_scatter_plot,scatter=True,fit_reg=True,ax=ax7)

v_1_scatter_plot = pd.concat([y,train['v_1']],axis=1)
sns.regplot(x='v_1',y='price',data=v_1_scatter_plot,scatter=True,fit_reg=True,ax=ax8)

v_14_scatter_plot = pd.concat([y,train['v_14']],axis=1)
sns.regplot(x='v_14',y='price',data=v_14_scatter_plot,scatter=True,fit_reg=True,ax=ax9)

v_13_scatter_plot = pd.concat([y,train_data['v_13']],axis=1)
sns.regplot(x='v_13',y='price',data=v_13_scatter_plot,scatter=True,fit_reg=True,ax=ax10)

8.数据报告

生成数据报告

import pandas_profiling
pfr = pandas_profiling.ProfileReport(train)
pfr.to_file("./example.html")

9.小总结

这是其他团队根据Datawhale的录播写的思维导图！

10.写在最后

今天其实写的有些仓促，有些东西没有深究，但是对着别人的思路详细一套下来也学到了不少。希望继续努力，明天复盘一下！