欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python人工智能深度学习模型训练经验总结

程序员文章站 2022-03-10 14:18:07
目录一、假如训练集表现不好1.尝试新的激活函数2.自适应学习率①adagrad②rmsprop③ momentum④adam二、在测试集上效果不好1.提前停止2.正则化3.dropout一、假如训练集...

一、假如训练集表现不好

1.尝试新的激活函数

relu:rectified linear unit

图像如下图所示:当z<0时,a = 0, 当z>0时,a = z,也就是说这个激活函数是对输入进行线性转换。使用这个激活函数,由于有0的存在,计算之后会删除掉一些神经元,使得神经网络变窄。

Python人工智能深度学习模型训练经验总结

该函数也有其他变体,如下图所示,主要是对于z小于0的时候,对应

Python人工智能深度学习模型训练经验总结

maxout:以上几种函数的一般形式

简单来说就是谁大输出谁,通过maxout可以自己学习激活函数。当给出的参数不同的时候,可以得到上面所描述的各类函数。如下图所示,当输入给1个计算单元时,得到蓝色的线,假如第二个计算单元参数均为0,则是x轴上的一条线,那么在这两个之中取大的那个,就是relu;当第二个计算单元参数不为0的时候,就可以得到其他形式的结果。

Python人工智能深度学习模型训练经验总结

2.自适应学习率

①adagrad

adagrad是使用前面的梯度进行平方和再开方,作为计算梯度时系数的一部分。

Python人工智能深度学习模型训练经验总结

②rmsprop

是adagrad的进阶版,在adagrad中,是使用了前面所有的梯度平方和再开方,这个系数中没有考虑当前的梯度。在rmsprop中,是考虑了现在的梯度,也对其进行平方,并对两项进行一个权重的分配。

Python人工智能深度学习模型训练经验总结

③ momentum

加入动量的梯度下降

下图中,v就是上一次的方向。在计算本次方向的时候,加入lambda倍的上一次的方向。其实v就是过去算出来的所有的梯度的总和。

Python人工智能深度学习模型训练经验总结

④adam

将rmsprop和momentum结合

Python人工智能深度学习模型训练经验总结

二、在测试集上效果不好

1.提前停止

通过交叉验证集,提前停止训练

Python人工智能深度学习模型训练经验总结

2.正则化

和其他的算法正则化方式一致,有l1和l2正则,此处不再详细描述。

3.dropout

每次训练的时候,都以p%的几率去掉一些神经元以及输入值。得到如下图所示的更瘦一些的神经网络。直接去训练这个神经网络。下一次训练的时候,对整个网络重新进行采样。(类似于随机森林)

在测试的时候不进行dropout,如果训练的时候的dropout几率是p%,那么在测试集上,所有的权重都乘上(1-p)%

Python人工智能深度学习模型训练经验总结

以上就是python人工智能深度学习模型训练经验总结的详细内容,更多关于python人工智能模型训练经验的资料请关注其它相关文章!