CNN——学习率LR的参考值范围是符合指数函数的增长规律的
程序员文章站
2024-03-14 11:23:46
...
1 致谢
感谢吴恩达老师的教导!
2 前言
今天在学习动物多分类的代码,需要调参,loss从第二个epoch开始就不在下降了,后来发现是学习率的问题,学习率过大,导致loss难以下降,后来陈助教建议我调小了学习率,果然效果就好多了;于是我复习了一下吴教授当时在将机器学习的时候,建议的学习率,他是这样说的,
我记得他好像提过指数函数,于是就感觉这个学习率的建议范围跟指数函数有关,于是就想做实验验证一下;
3 实验过程
我们可以将学习率的参考值范围和指数函数的曲线同时绘制出来,看看它们之间有没有相似之处,
实验代码如下:
import numpy as np
import matplotlib.pyplot as plt
x=[0,1,2,3,4,5,6,7,8]
y=[0.001,0.003,0.01,0.03,0.1,0.3,1,3,10]
# z = np.exp(x)
# 这样直接绘制是会有问题的,因为两个数据的区间不一样,所以需要进行归一化
z = np.exp(x)/np.exp(8)*10
plt.figure()
plt.plot(x,y,z)
实验结果如图所示:
可以看到,两者的曲线非常的接近,
所以,由此可知,学习率LR的参考值范围是符合指数函数的增长规律的!