单层感知机模型讲解
程序员文章站
2022-07-05 08:44:27
...
下图为一个简单的单层感知机模型
左侧为输入层,对于所有输入,上标0表示第0层(即输入层),下标0~N表示有N+1个元素。对于中间的权重,表示上一层的节点编号,表示下一层的节点编号。后面紧跟着的分别是求和,以及函数。后面的E代表Error或者Loss,将输出值与t(target)进行对比
接下来我们推导一下单层感知机梯度公式
首先我们定义,这里额外的是为了方便抵消掉求导后的参数2,该值的设立不会改变结果的单调性,所以有没有都无所谓,但是为了方便,这里还是加上了
KaTeX parse error: No such environment: align* at position 8:
\begin{̲a̲l̲i̲g̲n̲*̲}̲
\frac{\nabl…
因为
所以
KaTeX parse error: No such environment: align* at position 8:
\begin{̲a̲l̲i̲g̲n̲*̲}̲
(O^1_0 - t)\…
因此,
由该结果可看出,关于权重的梯度仅与输出节点和输入节点的有关
import torch
import torch.nn.functional as F
x = torch.randn(1, 10) # dim=2,len=10, x为[1,10]的tensor
w = torch.randn(1, 10, requires_grad=True) # w为[1,10]的tensor
o = torch.sigmoid(aaa@qq.com.t()) # o为[1,1]的tensor
# [1,10]*[1,10]T => [1,10]*[10,1] => [1,1]
print("o:",o)
loss = F.mse_loss(input=o, target=torch.ones(1, 1))
# 将shapa为[1,1]的计算结果与全为1的[1,1]矩阵进行mse计算
print('loss:', loss)
print('loss shape:', loss.shape) # 得到的loss为标量
loss.backward()
print('w.grad:', w.grad)
上一篇: 有坐跑车的感觉
下一篇: 可是我现在比你多一根