退化学习率的用法举例

一 实例描述

本例中使用迭代循环计数器变量global_step来标记循环次数，初始学习率为0.1，令其以10次衰退0.9的速度进行退化。

二 代码

import tensorflow as tf
global_step = tf.Variable(0, trainable=False)
initial_learning_rate = 0.1 #初始学习率
learning_rate = tf.train.exponential_decay(initial_learning_rate,
                                           global_step,
                                           decay_steps=10,decay_rate=0.9)
opt = tf.train.GradientDescentOptimizer(learning_rate)
add_global = global_step.assign_add(1)
with tf.Session() as sess:
    tf.global_variables_initializer().run()
    print(sess.run(learning_rate))
    for i in range(20):
        g, rate = sess.run([add_global, learning_rate])
        print(g,rate)

三 运行结果

0.1

1 0.0989519

2 0.0979148

3 0.0979148

4 0.0958732

5 0.0948683

6 0.093874

7 0.0928902

8 0.0928902

9 0.0919166

10 0.09

11 0.0890567

12 0.0881234

13 0.0871998

14 0.0862858

15 0.0853815

16 0.0844866

17 0.0836011

18 0.082725

19 0.0818579

20 0.0818579

四 说明

第1个数是迭代次数，第2个是输出的学习率，可以看到学习率在逐渐变小，在第11次由原来的0.1变成了0.09.

这是一种常用的训练策略，在训练神经网络时，通常在训练刚开始使用较大的learning_rate，随着训练的进行，会慢慢减小learning_rate。在使用时，一定要把当前迭代次数global_step传进去，否则不会有退化功能。