欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

机器学习问题中过拟合出现的原因及解决方案

程序员文章站 2022-07-13 11:52:00
...

如果一味的追求模型的预测能力,所选的模型复杂度就会过高,这种现象称为过拟合。模型表现出来的就是训练模型时误差很小,但在测试的时候误差很大。

一、产生的原因:

1.样本数据问题

样本数据太少
样本抽样不符合业务场景
样本中的噪音数据影响

2.模型问题

模型复杂度高,参数太多
决策树模型没有剪纸
模型训练过程中权重迭代次数太多,拟合了数据中的噪声数据

二、解决方案

1.样本数据方面

增加样本数量
对样本数据进行降维
添加验证数据
抽样方法要符合业务场景
清洗噪声数据

2.模型方面

控制模型复杂度,优先选择复杂度简单的模型,或者融合模型
利用先验知识添加L1,L2正则项
进行交叉验证
不要过度训练,最优化求解,收敛之前停止迭代
如果是决策树模型进行减值
权重衰减