欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

深度学习入门基于Python的理论与实现_第二章_感知机

程序员文章站 2022-07-04 21:55:14
...

前言

  • 本章介绍感知机算法,感知机是由美国学者Frank Rosenblatt在1957年提出的,它是作为神经网络(深度学习)的起源的算法。
  • 学习感知机的构造是学习通向神经网络和深度学习的一种重要思想。

1. 感知机是什么

  • 感知机接收多个输入信号,输出一个信号。

  • 感知机的信号只有1和0两种取值,0对应不传递信号,1对应传递信号。

  • 下图为一个接收两个输入信号的感知机。其中x1、x2输入信号,y是输出信号,w1、w2权重(w是weight的首字母)。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时,会被乘以固定的权重,神经元会计算传送过来的信号的总和,只有当这个总和超过了某个阈值θ时,才会输出1。此过程也称为“神经元被**
    深度学习入门基于Python的理论与实现_第二章_感知机

  • 上述内容的数学表达式为:
    深度学习入门基于Python的理论与实现_第二章_感知机

  • 输入信号都有各自固定的权重权重发挥着控制各个信号的重要性的作用,权重越大,对应该权重信号的重要性就越高。

  • 权重相当于电路里的电导。电导是描述某一种导体传输电流能力强弱程度,电导越大,通过的电流越大;在感知机中,权重越大,通过的信号就越大。

2. 简单逻辑电路

  • 可以通过对参数设定不同的取值来实现不同的逻辑门功能。
    以上述的两输入的感知机为例:
    如(w1, w2, θ) = (0.5, 0.5, 0.7),可实现与门(AND gate)的功能。
    如(w1, w2, θ) = (-0.5, -0.5, -0.7),可实现与非门(NAND gate)的功能。
    如(w1, w2, θ) = (0.5, 0.5, 0.3),可实现或门(OR gate)的功能
  • 如上所示,与门、与非门、或门的感知机的构造是一样的,实际上,上述三个门电路只有参数(权重和阈值)的取值不同。也就是说,相同构造的感知机,只需通过适当地调整参数的值,就可以实现不同的功能。
  • 从上面的分析我们可以看出,决定感知机参数的并不是计算机,而是我们人,我们通过逻辑真值表这种“训练数据”,人工考虑出参数的值。而机器学习就是将这个决定参数值的工作交给计算机自动进行
    学习是确定合适的参数的过程,而人要做的是思考感知机的构造(模型),并把训练数据交给计算机

3. 感知机的实现

3.1 简单的实现

  • 通过Python来实现与门,首先定义一个接收参数为x1和x2的函数,再在函数内初始化参数w1、w2、theta,当输入的加权总和超过阈值时返回1,否则返回0。
def AND(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1 * w1 + x2 * w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1
    
print(AND(0, 0))
print(AND(0, 1))
print(AND(1, 0))
print(AND(1, 1))
0
0
0
1

3.2 导入权重和偏置

  • 考虑到之后的事,我们通过另外一种实现形式来实现与门:
    首先把式(2.1)的θ换成-b,于是就可以用式(2.2)来表示感知机的行为。式(2.2)中,b称为偏置(此处可以把永磁偏置纯电磁偏置中的偏置给解释清楚),w1,w2称为权重
    感知机会计算输入信号权重的乘积,然后加上偏置,如果这个值大于0则输出1,否则输出0。
    深度学习入门基于Python的理论与实现_第二章_感知机
  • 接下来,通过NumPy,按照式(2.2)来实现具有逻辑与功能的感知机:
import numpy as np

x = np.array([0, 1]) # 输入
w = np.array([0.5, 0.5]) # 权重
b = -0.7 # 偏置

print(np.sum(w * x) + b)
-0.19999999999999996

3.3 使用权重和偏置的实现

  • 借助Python,使用权重和偏置来实现与门:
    与使用权重和阈值不同的是,这里把-θ命名为偏置b,需要注意的是,偏置和权重的作用是不同的。
    权重是控制输入信号的重要性的参数。
    偏置是调整神经元被**的容易程度的参数。
  • 偏置这个术语,有穿木屐的效果,即在没有任何输入时(输入为0时),给输出穿上多高的木屐(加上多大的值)的意思。
import numpy as np

def AND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(x * w) + b
    if tmp <= 0:
        return 0
    elif tmp > 0:
        return 1
  • 同理,也可以实现与非门和或门。
import numpy as np

def NAND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5])
    b = 0.7
    tmp = np.sum(x * w) + b
    if tmp <= 0:
        return 0
    elif tmp > 0:
        return 1
import numpy as np

def OR(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.2
    tmp = np.sum(x * w) + b
    if tmp <= 0:
        return 0
    elif tmp > 0:
        return 1

4. 感知机的局限性

4.1 异或门

4.2 线性和非线性

5. 多层感知机

5.1 已有门电路的组合

5.2 异或门的实现

6. 从与非门到计算机

7. 小结