机器学习问题中过拟合出现的原因及解决方案
程序员文章站
2022-07-13 11:52:00
...
如果一味的追求模型的预测能力,所选的模型复杂度就会过高,这种现象称为过拟合。模型表现出来的就是训练模型时误差很小,但在测试的时候误差很大。
一、产生的原因:
1.样本数据问题
样本数据太少
样本抽样不符合业务场景
样本中的噪音数据影响
2.模型问题
模型复杂度高,参数太多
决策树模型没有剪纸
模型训练过程中权重迭代次数太多,拟合了数据中的噪声数据
二、解决方案
1.样本数据方面
增加样本数量
对样本数据进行降维
添加验证数据
抽样方法要符合业务场景
清洗噪声数据
2.模型方面
控制模型复杂度,优先选择复杂度简单的模型,或者融合模型
利用先验知识添加L1,L2正则项
进行交叉验证
不要过度训练,最优化求解,收敛之前停止迭代
如果是决策树模型进行减值
权重衰减
上一篇: POI操作EXCEL(二)
下一篇: js url正则解析
推荐阅读