欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

CNN——学习率LR的参考值范围是符合指数函数的增长规律的

程序员文章站 2024-03-14 11:23:46
...

1 致谢

感谢吴恩达老师的教导!

2 前言

今天在学习动物多分类的代码,需要调参,loss从第二个epoch开始就不在下降了,后来发现是学习率的问题,学习率过大,导致loss难以下降,后来陈助教建议我调小了学习率,果然效果就好多了;于是我复习了一下吴教授当时在将机器学习的时候,建议的学习率,他是这样说的,

CNN——学习率LR的参考值范围是符合指数函数的增长规律的

我记得他好像提过指数函数,于是就感觉这个学习率的建议范围跟指数函数有关,于是就想做实验验证一下;

3 实验过程

我们可以将学习率的参考值范围和指数函数的曲线同时绘制出来,看看它们之间有没有相似之处,

实验代码如下:

import numpy as np  
import matplotlib.pyplot as plt  

x=[0,1,2,3,4,5,6,7,8]  
y=[0.001,0.003,0.01,0.03,0.1,0.3,1,3,10]
# z = np.exp(x)
# 这样直接绘制是会有问题的,因为两个数据的区间不一样,所以需要进行归一化
z = np.exp(x)/np.exp(8)*10

plt.figure()  
plt.plot(x,y,z)

实验结果如图所示:

CNN——学习率LR的参考值范围是符合指数函数的增长规律的

可以看到,两者的曲线非常的接近,

所以,由此可知,学习率LR的参考值范围是符合指数函数的增长规律的!

 

相关标签: CNN