Datawhale 零基础入门数据挖掘-Task4 建模调参
review
通过上次的学习，我们了解了特征工程的操作流程，对数据的处理技巧。为我们这部分数据建模与调参打下了基础。
建模与调参
5.1
学习目标 了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程
完成相应学习打卡任务
5.2 内容介绍
- 线性回归模型： 线性回归对于特征的要求； 处理长尾分布； 理解线性回归模型；
- 模型性能验证： 评价函数与目标函数； 交叉验证方法； 留一验证方法； 针对时间序 列问题的验证； 绘制学习率曲线； 绘制验证曲线；
- 嵌入式特征选择： Lasso回归； Ridge回归； 决策树；
- 模型对比： 常用线性模型； 常用非线性模型；
- 模型调参： 贪心调参方法； 网格调参方法； 贝叶斯调参方法；
代码示例
1.读取数据，并创建一个函数用来减少数据的储存
import pandas as pd
import numpy as np
import warnings
warnings.filterwarnings('ignore')
def reduce_mem_usage(df):
""" iterate through all the columns of a dataframe and modify the data type to reduce memory usage.
"""
start_mem = df.memory_usage().sum()
print('Memory usage of dataframe is {:.2f} MB'.format(start_mem))
for col in df.columns:
col_type = df[col].dtype
if col_type != object:
c_min = df[col].min()
c_max = df[col].max()
if str(col_type)[:3] == 'int':
if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max: df[col] = df[col].astype(np.int8) elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max: df[col] = df[col].astype(np.int16) elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max: df[col] = df[col].astype(np.int32) elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max: df[col] = df[col].astype(np.int64) else: if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max: df[col] = df[col].astype(np.float16) elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max: df[col] = df[col].astype(np.float32) else: df[col] = df[col].astype(np.float64) else: df[col] = df[col].astype('category')
end_mem = df.memory_usage().sum() print('Memory usage after optimization is: {:.2f} MB'.format(end_mem)) print('Decreased by {:.1f}%'.format(100 * (start_mem - end_mem) / start_mem)) return df
使用函数的代码
5.4.2 线性回归 & 五折交叉验证 & 模拟真实业务情况
sample_feature = sample_feature.dropna().replace('-', 0).reset_index(drop=True) sample_feature['notRepairedDamage'] = sample_feature['notRepairedDamage'].astype(np.float32) train = sample_feature[continuous_feature_names + ['price']]
train_X = train[continuous_feature_names]
train_y = train['price']
利用sklearn库简单建模 并查看线性回归模型的截距和权重
from sklearn.linear_model import LinearRegression
model = LinearRegression(normalize=True)
model = model.fit(train_X, train_y)
'intercept:'+ str(model.intercept_)
sorted(dict(zip(continuous_feature_names, model.coef_)).items(), key=lambda x:x[1], reverse=True)
绘制特征v_9的值与标签的散点图，图片发现模型的预测结果（蓝色点）与真实标签（黑色点）的分布差异较 大，且部分预测值出现了小于0的情况，说明我们的模型存在一些问题
from matplotlib import pyplot as plt
subsample_index = np.random.randint(low=0, high=len(train_y), size=50)
plt.scatter(train_X['v_9'][subsample_index], train_y[subsample_index], color='black')
plt.scatter(train_X['v_9'][subsample_index], model.predict(train_X.loc[subsample_index]), color='blu plt.xlabel('v_9') plt.ylabel('price')
plt.legend(['True Price','Predicted Price'],loc='upper right')
print('The predicted price is obvious different from true price')
plt.show()
通过作图我们发现数据的标签（price）呈现长尾分布，不利于我们的建模预测。原因是很多模型都假设数据误差 项符合正态分布，而长尾分布的数据违背了这一假设。
对此我们作用log转换
import seaborn as sns
print('It is clear to see the price shows a typical exponential distribution') plt.figure(figsize=(15,5))
plt.subplot(1,2,1)
sns.distplot(train_y)
plt.subplot(1,2,2)
sns.distplot(train_y[train_y < np.quantile(train_y, 0.9)])
```
```python
train_y_ln = np.log(train_y + 1)
import seaborn as sns print('The transformed price seems like normal distribution')
plt.figure(figsize=(15,5))
plt.subplot(1,2,1)
sns.distplot(train_y_ln)
plt.subplot(1,2,2)
sns.distplot(train_y_ln[train_y_ln < np.quantile(train_y_ln, 0.9)])
model = model.fit(train_X, train_y_ln)
print('intercept:'+ str(model.intercept_)) sorted(dict(zip(continuous_feature_names, model.coef_)).items(), key=lambda x:x[1], reverse=True）
再次进行可视化，发现预测结果与真实值较为接近，且未出现异常状况。
plt.scatter(train_X['v_9'][subsample_index], train_y[subsample_index], color='black')
plt.scatter(train_X['v_9'[subsample_index],np.exp(model.predict(train_X.loc[subsample_index])), co
plt.xlabel('v_9') plt.ylabel('price')
plt.legend(['True Price','Predicted Price'],loc='upper right')
print('The predicted price seems normal after np.log transforming')
plt.show()
我们进行五折验证
在使用训练集对参数进行训练的时候，经常会发现人们通常会将一整个训练集分为三个部分（比 如mnist手写训练集）。一般分为：训练集（train_set），评估集（valid_set），测试集 （test_set）这三个部分。这其实是为了保证训练效果而特意设置的。其中测试集很好理解，其 实就是完全不参与训练的数据，仅仅用来观测测试效果的数据。而训练集和评估集则牵涉到下面 的知识了。
因为在实际的训练中，训练的结果对于训练集的拟合程度通常还是挺好的（初始条件敏感），但 是对于训练集之外的数据的拟合程度通常就不那么令人满意了。因此我们通常并不会把所有的数 据集都拿来训练，而是分出一部分来（这一部分不参加训练）对训练集生成的参数进行测试，相 对客观的判断这些参数对训练集之外的数据的符合程度。这种思想就称为交叉验证（Cross Validation）
下列为交叉验证的代码
from sklearn.model_selection import cross_val_score
from sklearn.metrics import mean_absolute_error, make_scorer
def log_transfer(func):
def wrapper(y, yhat):
result = func(np.log(y), np.nan_to_num(np.log(yhat)))
return result
return wrapper
scores = cross_val_score(model, X=train_X, y=train_y, verbose=1, cv = 5, scoring=make_scorer(log_tr
使用线性回归模型，对未处理标签的特征数据进行五折交叉验证（Error 1.36）
使用线性回归模型，对处理过标签的特征数据进行五折交叉验证（Error 0.19）
建立表格观察
但我们的数据是存在时间相关关系的，不能用未来的数据去验证现在的数据，所以我们应该从我们选用靠前时间的4/5样本当作训练集，靠后时间的1/5当作验证集。
import datetime
sample_feature = sample_feature.reset_index(drop=True)
split_point = len(sample_feature) // 5 * 4
train = sample_feature.loc[:split_point].dropna()
val = sample_feature.loc[split_point:].dropna()
train_X = train[continuous_feature_names]
train_y_ln = np.log(train['price'] + 1)
val_X = val[continuous_feature_names]
val_y_ln = np.log(val['price'] + 1)
model = model.fit(train_X, train_y_ln)
mean_absolute_error(val_y_ln, model.predict(val_X))
我们进行绘制学习率曲线与验证曲线
from sklearn.model_selection import learning_curve, validation_curve
? learning_curve
创建一个函数
然后进行多个模型的比对从而得到最优解
在过滤式和包裹式特征选择方法中，特征选择过程与学习器训练过程有明显的分别。而嵌入式特征选择在学习器 训练过程中自动地进行特征选择。嵌入式选择最常用的是L1正则化与L2正则化。在对线性回归模型加入两种正则 化方法后，他们分别变成了岭回归与Lasso回归。
三种方法的效果图对比
L2正则化在拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参 数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性 回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移 得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强 或者是鲁棒性
除了线性模型我们还有常用的非线性模型
以下进行效果比对
LgB参数集合
总结
经过小雨的讲解以后对建模了有了初步的了解，虽然对具体的代码含义还不能深入的理解但是对初步的思想有了大概的了解。线性回归模型 决策树模型 GBDT模型 XGBoost模型 LightGBM模型 等模型的介绍 还有关于L1正则化与L2正则化之类的理解和使用后的结果是岭回归与lasso回归以及L2与L1在使用中的优缺点。
https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.6.1cd8593av2JO2p&postId=95460
引用自天池阿里云中零基础入门数据挖掘的内容