欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

莫烦学习笔记之TensorFlow(Activation function)激励函数

程序员文章站 2022-07-06 11:07:16
...

最近刚刚使用python,同时也是在自学机器学习,看到莫烦TensorFlow篇中关于激励函数的讲解的时候,心里总是有一些疑问,尤其是视频中多次提到,激励函数的作用是把原本是线性的函数“变弯”,那么为什么要把它“变弯”呢?这样做的好处和理由是什么?


后来无意间看到一篇文章,恍然大悟:

上个世纪六十年代,提出了最早的"人造神经元"模型,叫做"感知器"(perceptron),直到今天还在用,如下图

莫烦学习笔记之TensorFlow(Activation function)激励函数

上图的圆圈就代表一个感知器。它接受多个输入(x1,x2,x3...),产生一个输出(output),好比神经末梢感受各种外部环境的变化,最后产生电信号。

为了简化模型,我们约定每种输入只有两种可能:1 或 0。如果所有输入都是1,表示各种条件都成立,输出就是1;如果所有输入都是0,表示条件都不成立,输出就是0。

大概的几何图像就是这样

莫烦学习笔记之TensorFlow(Activation function)激励函数

首先,将感知器的计算结果wx + b记为z


z = wx + b

然后,计算下面的式子,将结果记为σ(z)


σ(z) = 1 / (1 + e^(-z))

如果权重和阈值有轻微的变动,结果也还是1或者0,这样的模型明显是不够敏感的,不够准确的,那么如何使得模型变得"敏感"呢?


------变弯

如下图:

莫烦学习笔记之TensorFlow(Activation function)激励函数

原文请点:http://www.ruanyifeng.com/blog/2017/07/neural-network.html





相关标签: 机器学习