pytorch学习教程笔记（一）

（注：代码来自pytorch官网）

学习使用pytorch构建神经网络，首先我们来看一下不使用深度学习框架的网络如何构建

```python
# -*- coding: utf-8 -*-
import numpy as np

# N is batch size; D_in is input dimension;
# H is hidden dimension; D_out is output dimension.
N, D_in, H, D_out = 64, 1000, 100, 10

# Create random input and output data
x = np.random.randn(N, D_in)
y = np.random.randn(N, D_out)

# Randomly initialize weights
w1 = np.random.randn(D_in, H)
w2 = np.random.randn(H, D_out)

learning_rate = 1e-6
for t in range(500):
    # Forward pass: compute predicted y
    h = x.dot(w1)
    h_relu = np.maximum(h, 0)
    y_pred = h_relu.dot(w2)

    # Compute and print loss
    loss = np.square(y_pred - y).sum()
    print(t, loss)

    # Backprop to compute gradients of w1 and w2 with respect to loss
    grad_y_pred = 2.0 * (y_pred - y)
    grad_w2 = h_relu.T.dot(grad_y_pred)
    grad_h_relu = grad_y_pred.dot(w2.T)
    grad_h = grad_h_relu.copy()
    grad_h[h < 0] = 0
    grad_w1 = x.T.dot(grad_h)

    # Update weights
    w1 -= learning_rate * grad_w1
    w2 -= learning_rate * grad_w2

不使用深度学习框架，我们来构造一个单隐层的网络
输入层维度1000，隐层100，输出层10，假设batch为64
学习率为1e-6

首先我们初始化数据集，使用随机初始化
x为（64*1000），y为（64*10）

接下来我们初始化两层网络的权重
w1 为（1000*100），w2位（100*10）

接下来我们迭代优化500次，每次的过程如下所示：

隐层结果h = x与w1相乘，结果为（64*100）
对隐层结果h使用relu函数进行裁剪，小于0的结果裁剪为0，得到h_relu结果
最终预测结果y_pred = h_relu与w2相乘，结果为（64*10）

loss函数为
预测结果y_pred与实际结果y的误差平方，一共（64*10）个误差平方
总loss为所有的误差平方和，将640个误差平方相加为一个数

计算梯度
计算y的梯度，因为我们取的是平方和，所以计算梯度时乘2，维度为（64*10）

计算w2的梯度，隐层结果转置与y梯度相乘，为（100*64）*（64*10）

计算隐层结果梯度，预测结果与w2转置相乘
（64*10）*（10*100）

将实际训练过程中裁剪的位置转换为0
（注：这里的h为训练时的h，h<0的位置没有传播）

计算w1的梯度

根据梯度调整参数

这些是一个例子中的loss结果