莫烦学习笔记之TensorFlow(Activation function)激励函数
程序员文章站
2022-07-06 11:07:16
...
最近刚刚使用python,同时也是在自学机器学习,看到莫烦TensorFlow篇中关于激励函数的讲解的时候,心里总是有一些疑问,尤其是视频中多次提到,激励函数的作用是把原本是线性的函数“变弯”,那么为什么要把它“变弯”呢?这样做的好处和理由是什么?
后来无意间看到一篇文章,恍然大悟:
上个世纪六十年代,提出了最早的"人造神经元"模型,叫做"感知器"(perceptron),直到今天还在用,如下图
上图的圆圈就代表一个感知器。它接受多个输入(x1,x2,x3...),产生一个输出(output),好比神经末梢感受各种外部环境的变化,最后产生电信号。
为了简化模型,我们约定每种输入只有两种可能:1 或 0。如果所有输入都是1,表示各种条件都成立,输出就是1;如果所有输入都是0,表示条件都不成立,输出就是0。
大概的几何图像就是这样
首先,将感知器的计算结果wx + b
记为z
。
z = wx + b
然后,计算下面的式子,将结果记为σ(z)
。
σ(z) = 1 / (1 + e^(-z))
如果权重和阈值有轻微的变动,结果也还是1或者0,这样的模型明显是不够敏感的,不够准确的,那么如何使得模型变得"敏感"呢?
------变弯
如下图:
原文请点:http://www.ruanyifeng.com/blog/2017/07/neural-network.html
上一篇: 仿9GAG制作过程(三)
下一篇: TensorFlow演示反卷积的操作