欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

tensorflow激励函数-【老鱼学tensorflow】

程序员文章站 2022-06-24 09:06:05
当我们回到家,如果家里有异样,我们能够很快就会发现家中的异样,那是因为这些异常的摆设在我们的大脑中会产生较强的脑电波。 当我们听到某个单词,我们大脑中跟这个单词相关的神经元会异常兴奋,而同这个单词无关的神经元就不会有很大的刺激。 这个就是大脑中的激励函数。 有了激励函数,我们才会对外部的刺激产生非线 ......

当我们回到家,如果家里有异样,我们能够很快就会发现家中的异样,那是因为这些异常的摆设在我们的大脑中会产生较强的脑电波。
当我们听到某个单词,我们大脑中跟这个单词相关的神经元会异常兴奋,而同这个单词无关的神经元就不会有很大的刺激。
这个就是大脑中的激励函数。
有了激励函数,我们才会对外部的刺激产生非线性的反应,有的神经元反应比较强烈,而有的神经元基本没有反应。

在神经网络中激励函数有很多,但作为初学的我们,只要了解其中常用的几个就可以了。

relu

tensorflow激励函数-【老鱼学tensorflow】
这是一种使用比较广泛的并且计算量也很少的激励函数。
这个激励函数的意思是:如果值小于0就一直为0,大于0就是输出那个值。
从我们的大脑中神经元来类比为:我们大脑中某神经元对于某信号的刺激太小的话,就一直处于睡眠状态,而如果此输入的信号激起了此神经元,则刺激的强度就跟输入信息的强度成正比。

sigmoid

公式为:
tensorflow激励函数-【老鱼学tensorflow】

图像为:
tensorflow激励函数-【老鱼学tensorflow】

这里不用被这个公式吓到,不了解公式也没关系。
我们从其图像中看到,这个函数的值域为(0,1)内,并且是连续函数。
在机器学习中,我们一般会把数据映射到(0, 1)或者(-1, 1)这样的范围内。
它的特点是输入信号在模糊区0附近时很快就能得出哪些信号需要被加强,哪些信号需要被抑制,也符合我们大脑中神经元对于信息输入的应激反应特征。

tanh

反正切函数:
tensorflow激励函数-【老鱼学tensorflow】

图像为:
tensorflow激励函数-【老鱼学tensorflow】
这个函数的样子跟sigmoid类似,只是其值域位于(-1, 1)之间,输入信号值在0附近会有一个突变的模糊区。
tanh作为激励函数使用得也很广泛。
大家可以来进行尝试的。

softplus

softplus函数可以看作是relu函数的平滑版本,公式和函数图像如下:
tensorflow激励函数-【老鱼学tensorflow】

图像为:
tensorflow激励函数-【老鱼学tensorflow】

softplus主要用在最后一层分类中的输出元激励函数。
比如在手写识别0-9的数字中,最后一层的激励函数一般用softplus来实现。