欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Tensorflow:TensorFlow基础(二)

程序员文章站 2022-07-06 20:21:27
...

TensorFlow基础(二)

1.张量的典型应用

1.1 标量

# 随机模拟网络输出
out = tf.random.uniform([4,10]) 
# 随机构造样本真实标签
y = tf.constant([2,3,2,0]) 
# one-hot 编码
y = tf.one_hot(y, depth=10) 
# 计算每个样本的 MSE
loss = tf.keras.losses.mse(y, out) 
# 平均 MSE,loss 应是标量
loss = tf.reduce_mean(loss) 
print(loss)
tf.Tensor(0.29024273, shape=(), dtype=float32)

1.2 向量

考虑 2 个输出节点的网络层, 我们创建长度为 2 的偏置向量b,并累加在每个输出节点上:

# z=wx,模拟获得**函数的输入 z
z = tf.random.normal([4,2])
# 创建偏置向量
b = tf.zeros([2])
# 累加上偏置向量
z = z + b 
z
<tf.Tensor: shape=(4, 2), dtype=float32, numpy=
array([[ 0.31563172, -0.58949906],
       [ 0.90833205, -0.90002346],
       [-0.5645722 ,  1.5243807 ],
       [-0.46752235, -0.87098795]], dtype=float32)>

通过高层接口类 Dense()方式创建的网络层,张量 W 和 ???? 存储在类的内部,由类自动创
建并管理。可以通过全连接层的 bias 成员变量查看偏置变量????,例如创建输入节点数为 4,
输出节点数为 3 的线性层网络,那么它的偏置向量 b 的长度应为 3:

# 创建一层 Wx+b,输出节点为 3
fc = tf.keras.layers.Dense(3) 
# 通过 build 函数创建 W,b 张量,输入节点为 4
fc.build(input_shape=(2,4))
# 查看偏置向量
fc.bias 
<tf.Variable 'bias:0' shape=(3,) dtype=float32, numpy=array([0., 0., 0.], dtype=float32)>

1.3 矩阵

# 2 个样本,特征长度为 4 的张量
x = tf.random.normal([2,4]) 
# 定义 W 张量
w = tf.ones([4,3])
# 定义 b 张量
b = tf.zeros([3]) 
# aaa@qq.com+b 运算
o = aaa@qq.com+b 
o
<tf.Tensor: shape=(2, 3), dtype=float32, numpy=
array([[ 0.24217486,  0.24217486,  0.24217486],
       [-2.0101817 , -2.0101817 , -2.0101817 ]], dtype=float32)>
# 定义全连接层的输出节点为 3
fc = tf.keras.layers.Dense(3) 
# 定义全连接层的输入节点为 4
fc.build(input_shape=(2,4)) 
# 查看权值矩阵 W
fc.kernel 
<tf.Variable 'kernel:0' shape=(4, 3) dtype=float32, numpy=
array([[-0.39046913,  0.10637152,  0.10071242],
       [ 0.21714497, -0.6418654 , -0.30992925],
       [-0.55721366,  0.61090446,  0.89444256],
       [-0.36123437,  0.03711444, -0.08871335]], dtype=float32)>

2.索引与切片

2.1 索引

# 创建4维张量
x = tf.random.normal([2,2,2,2]) 
# 取第 1 张图片的数据
x[0]
<tf.Tensor: shape=(2, 2, 2), dtype=float32, numpy=
array([[[ 0.34822315,  0.3984542 ],
        [-0.4846413 , -0.97909266]],

       [[ 0.8115266 ,  0.00483855],
        [-0.80532825, -0.00211781]]], dtype=float32)>
# 取第 1 张图片的第 2 行
x[0][1]
<tf.Tensor: shape=(2, 2), dtype=float32, numpy=
array([[ 0.8115266 ,  0.00483855],
       [-0.80532825, -0.00211781]], dtype=float32)>
# 取第 1 张图片,第 2 行,第 2 列的数据
x[0][1][1]
<tf.Tensor: shape=(2,), dtype=float32, numpy=array([-0.80532825, -0.00211781], dtype=float32)>
# 取第 1 张图片,第 2 行,第 1 列的像素, B 通道(第 2 个通道)颜色强度值
x[0][1][0][1]
<tf.Tensor: shape=(), dtype=float32, numpy=0.004838548>
# 取第 2 张图片,第 2 行,第 2 列的数据
x[1,1,1]
<tf.Tensor: shape=(2,), dtype=float32, numpy=array([-0.44559637,  0.01962792], dtype=float32)>

2.2 切片

# 读取第 1,2 张图片
x[0:1]
<tf.Tensor: shape=(1, 2, 2, 2), dtype=float32, numpy=
array([[[[ 0.34822315,  0.3984542 ],
         [-0.4846413 , -0.97909266]],

        [[ 0.8115266 ,  0.00483855],
         [-0.80532825, -0.00211781]]]], dtype=float32)>
# 读取第一张图片
x[0,::] 
<tf.Tensor: shape=(2, 2, 2), dtype=float32, numpy=
array([[[ 0.34822315,  0.3984542 ],
        [-0.4846413 , -0.97909266]],

       [[ 0.8115266 ,  0.00483855],
        [-0.80532825, -0.00211781]]], dtype=float32)>
# 逆序全部元素
x[::-1] 
<tf.Tensor: id=331, shape=(9,), dtype=int32, numpy=array([8, 7, 6, 5, 4, 3, 2, 1, 0])>

读取每张图片的所有通道,其中行按着逆序隔行采样,列按着逆序隔行采样

x = tf.random.normal([2,4,4,4])
# 行、列逆序间隔采样
x[0,::-2,::-2] 
<tf.Tensor: shape=(2, 2, 4), dtype=float32, numpy=
array([[[ 2.304297  , -1.0442073 , -0.56854004, -0.7879971 ],
        [ 1.0789118 , -0.18602042,  0.9888905 , -0.6266968 ]],

       [[ 0.16137564,  0.4127967 ,  0.72044903, -0.7933607 ],
        [-1.5984349 ,  1.3255346 , -0.27378082, -0.17433397]]],
      dtype=float32)>
# 取 G 通道数据
x[:,:,:,1] 
<tf.Tensor: shape=(2, 4, 4), dtype=float32, numpy=
array([[[-0.33024472, -1.1331698 ,  0.49589372, -0.78729445],
        [-1.2920703 ,  1.3255346 , -0.71679795,  0.4127967 ],
        [-0.57076746,  0.2409307 , -0.9696086 , -0.2732332 ],
        [-0.86820245, -0.18602042,  1.4539748 , -1.0442073 ]],

       [[-0.31168306, -0.9283122 , -0.54838717, -0.12986478],
        [-0.24761973,  0.6580482 ,  0.8283819 ,  0.8146409 ],
        [-1.1049583 , -0.24078842,  0.1042363 ,  0.29632303],
        [-0.00507268, -1.3736714 ,  0.01005635,  0.23007654]]],
      dtype=float32)>
# 读取第 1~2 张图片的 G/B 通道数据
# 高宽维度全部采集
x[0:2,...,1:] 
<tf.Tensor: shape=(2, 4, 4, 3), dtype=float32, numpy=
array([[[[-0.33024472,  0.6283163 , -0.04996401],
         [-1.1331698 ,  0.60591996,  0.23778886],
         [ 0.49589372, -0.30366042,  1.1818023 ],
         [-0.78729445,  1.6598036 , -1.2402087 ]],

        [[-1.2920703 ,  0.74676615, -0.42908686],
         [ 1.3255346 , -0.27378082, -0.17433397],
         [-0.71679795, -0.11399374, -0.12879518],
         [ 0.4127967 ,  0.72044903, -0.7933607 ]],

        [[-0.57076746, -1.1609849 ,  1.6461061 ],
         [ 0.2409307 ,  1.5247557 , -1.5071423 ],
         [-0.9696086 ,  2.1981888 ,  0.6549159 ],
         [-0.2732332 ,  0.24407765,  0.05883753]],

        [[-0.86820245,  0.27632675,  0.68970746],
         [-0.18602042,  0.9888905 , -0.6266968 ],
         [ 1.4539748 ,  0.4892664 ,  0.34481934],
         [-1.0442073 , -0.56854004, -0.7879971 ]]],

       [[[-0.31168306, -0.4917958 , -0.5603941 ],
         [-0.9283122 , -0.25997722, -0.5569816 ],
         [-0.54838717, -1.1659151 ,  0.37025896],
         [-0.12986478, -0.43251887,  0.16835675]],

        [[-0.24761973,  0.7648886 , -0.9059888 ],
         [ 0.6580482 ,  0.14856052,  0.8848719 ],
         [ 0.8283819 ,  1.2512318 ,  0.21912369],
         [ 0.8146409 , -1.926621  ,  1.5576432 ]],

        [[-1.1049583 ,  0.3476432 , -0.20792682],
         [-0.24078842,  0.41281703,  0.665506  ],
         [ 0.1042363 , -0.40645656, -0.15254466],
         [ 0.29632303, -0.23996541, -1.9224465 ]],

        [[-0.00507268, -0.7571799 ,  0.12876898],
         [-1.3736714 ,  1.2115971 ,  0.55076367],
         [ 0.01005635, -0.43012097,  0.2410907 ],
         [ 0.23007654, -0.9896959 ,  2.7479093 ]]]], dtype=float32)>

3.维度变换

3.1 改变视图

我们通过 tf.range()模拟生成一个向量数据,并通过 tf.reshape 视图改变函数产生不同的视图

# 生成向量
x = tf.range(24) 
# 改变 x 的视图,获得 4D 张量,存储并未改变
x = tf.reshape(x,[1,2,3,4]) 
x
<tf.Tensor: shape=(1, 2, 3, 4), dtype=int32, numpy=
array([[[[ 0,  1,  2,  3],
         [ 4,  5,  6,  7],
         [ 8,  9, 10, 11]],

        [[12, 13, 14, 15],
         [16, 17, 18, 19],
         [20, 21, 22, 23]]]])>
# 获取张量的维度数和形状列表
x.ndim,x.shape 
(4, TensorShape([1, 2, 3, 4]))

通过 tf.reshape(x, new_shape),可以将张量的视图任意地合法改变

tf.reshape(x,[2,-1])
<tf.Tensor: shape=(2, 12), dtype=int32, numpy=
array([[ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11],
       [12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23]])>
 tf.reshape(x,[2,4,3])
<tf.Tensor: shape=(2, 4, 3), dtype=int32, numpy=
array([[[ 0,  1,  2],
        [ 3,  4,  5],
        [ 6,  7,  8],
        [ 9, 10, 11]],

       [[12, 13, 14],
        [15, 16, 17],
        [18, 19, 20],
        [21, 22, 23]]])>
tf.reshape(x,[2,-1,3])
<tf.Tensor: shape=(2, 4, 3), dtype=int32, numpy=
array([[[ 0,  1,  2],
        [ 3,  4,  5],
        [ 6,  7,  8],
        [ 9, 10, 11]],

       [[12, 13, 14],
        [15, 16, 17],
        [18, 19, 20],
        [21, 22, 23]]])>

3.2 增、删维度

# 产生矩阵
x = tf.random.uniform([4,4],maxval=10,dtype=tf.int32)
x
<tf.Tensor: shape=(4, 4), dtype=int32, numpy=
array([[0, 6, 8, 7],
       [1, 5, 1, 7],
       [5, 9, 6, 0],
       [4, 5, 3, 9]])>

通过 tf.expand_dims(x, axis)可在指定的 axis 轴前可以插入一个新的维度

# axis=2 表示宽维度后面的一个维度
x = tf.expand_dims(x,axis=2) 
x
<tf.Tensor: shape=(4, 4, 1), dtype=int32, numpy=
array([[[0],
        [6],
        [8],
        [7]],

       [[1],
        [5],
        [1],
        [7]],

       [[5],
        [9],
        [6],
        [0]],

       [[4],
        [5],
        [3],
        [9]]])>
tf.expand_dims(x,axis=0) # 高维度之前插入新维度
<tf.Tensor: shape=(1, 4, 4, 1), dtype=int32, numpy=
array([[[[0],
         [6],
         [8],
         [7]],

        [[1],
         [5],
         [1],
         [7]],

        [[5],
         [9],
         [6],
         [0]],

        [[4],
         [5],
         [3],
         [9]]]])>
x = tf.squeeze(x, axis=2) # 删除图片数量维度
x
<tf.Tensor: shape=(4, 4), dtype=int32, numpy=
array([[0, 6, 8, 7],
       [1, 5, 1, 7],
       [5, 9, 6, 0],
       [4, 5, 3, 9]])>
x = tf.random.uniform([1,4,4,1],maxval=10,dtype=tf.int32)
tf.squeeze(x) # 删除所有长度为 1 的维度
<tf.Tensor: shape=(4, 4), dtype=int32, numpy=
array([[9, 9, 7, 6],
       [0, 3, 6, 8],
       [2, 7, 6, 9],
       [8, 8, 3, 5]])>

3.3 交换维度

x = tf.random.normal([1,2,3,4])
# 交换维度
tf.transpose(x,perm=[0,3,1,2]) 
<tf.Tensor: shape=(1, 4, 2, 3), dtype=float32, numpy=
array([[[[ 1.054216  ,  0.9930936 ,  0.02253438],
         [-0.8523428 ,  1.4335555 ,  1.3674371 ]],

        [[-1.3224561 , -0.56301004, -1.9799871 ],
         [ 0.6887363 ,  1.6728357 , -0.89002633]],

        [[ 0.5843838 , -0.412141  ,  1.8223515 ],
         [ 0.92986745,  0.21938261,  2.0599825 ]],

        [[ 1.7795099 , -1.6967453 , -1.856098  ],
         [-1.0092537 ,  0.02507956, -0.25849926]]]], dtype=float32)>
x = tf.random.normal([1,2,3,4])
# 交换维度
tf.transpose(x,perm=[0,2,1,3]) 
<tf.Tensor: shape=(1, 3, 2, 4), dtype=float32, numpy=
array([[[[ 0.04785682,  0.25443026,  1.5284601 ,  0.11894976],
         [ 0.04647516, -0.41432348, -0.85131294,  0.46643516]],

        [[-0.1527475 , -0.823387  ,  0.35662124, -0.6405889 ],
         [-0.08285429, -0.34229243,  2.2337375 ,  0.54682755]],

        [[ 1.7444025 ,  1.0962962 ,  0.07826549,  0.78326786],
         [ 0.6024326 ,  0.34614065,  1.8503569 , -0.41436443]]]],
      dtype=float32)>

3.4 复制数据

# 创建向量 b
b = tf.constant([1,2]) 
# 插入新维度,变成矩阵
b = tf.expand_dims(b, axis=0) 
b
<tf.Tensor: shape=(1, 2), dtype=int32, numpy=array([[1, 2]])>
# 样本维度上复制一份
b = tf.tile(b, multiples=[2,1]) 
b
<tf.Tensor: id=414, shape=(2, 2), dtype=int32, numpy=
array([[1, 2],
       [1, 2]])>
x = tf.range(4)
# 创建 2 行 2 列矩阵
x=tf.reshape(x,[2,2]) 
x
<tf.Tensor: id=420, shape=(2, 2), dtype=int32, numpy=
array([[0, 1],
       [2, 3]])>
# 列维度复制一份
x = tf.tile(x,multiples=[1,2]) 
x
<tf.Tensor: id=422, shape=(2, 4), dtype=int32, numpy=
array([[0, 1, 0, 1],
       [2, 3, 2, 3]])>
# 行维度复制一份
x = tf.tile(x,multiples=[2,1]) 
x
<tf.Tensor: id=424, shape=(4, 4), dtype=int32, numpy=
array([[0, 1, 0, 1],
       [2, 3, 2, 3],
       [0, 1, 0, 1],
       [2, 3, 2, 3]])>

4.Broadcasting

Broadcasting 也叫广播机制(自动扩展也许更合适),它是一种轻量级张量复制的手段,
在逻辑上扩展张量数据的形状,但是只要在需要时才会执行实际存储复制操作。对于大部
分场景,Broadcasting 机制都能通过优化手段避免实际复制数据而完成逻辑运算,从而相对
于 tf.tile 函数,减少了大量计算代价。
Tensorflow:TensorFlow基础(二)

# 创建矩阵
A = tf.random.normal([4,3]) 
B = tf.random.normal([1,3])
# 扩展为 3D 张量
tf.broadcast_to(B, [4,1,3])
print(A + B)
tf.Tensor(
[[ 2.0599308  -1.7524832   2.020039  ]
 [ 0.67481816 -0.25245976 -1.6941655 ]
 [ 0.39008152 -1.2065786   0.28262126]
 [-0.19673708 -2.8015094   2.692475  ]], shape=(4, 3), dtype=float32)
A = tf.random.normal([32,2])
# 不符合 Broadcasting 条件
try: 
    tf.broadcast_to(A, [2,32,32,4])
except Exception as e:
    print(e)
Incompatible shapes: [32,2] vs. [2,32,32,4] [Op:BroadcastTo]

5.数学运算

5.1 加、减、乘、除运算

a = tf.range(5)
b = tf.constant(2)
# 整除运算
a//b 
<tf.Tensor: shape=(5,), dtype=int32, numpy=array([0, 0, 1, 1, 2])>
# 余除运算
a%b 
<tf.Tensor: shape=(5,), dtype=int32, numpy=array([0, 1, 0, 1, 0])>

5.2 乘方运算

x = tf.range(4)
# 乘方运算
tf.pow(x,3) 
<tf.Tensor: shape=(4,), dtype=int32, numpy=array([ 0,  1,  8, 27])>
# 乘方运算符
x**2 
<tf.Tensor: shape=(4,), dtype=int32, numpy=array([0, 1, 4, 9])>
x=tf.constant([1.,4.,9.])
# 平方根
x**(0.5) 
tf.Tensor([ 4. 16. 36.], shape=(3,), dtype=float32)
x = tf.range(5)
# 转换为浮点数
x = tf.cast(x, dtype=tf.float32) 
# 平方
x = tf.square(x) 
# 平方根
tf.sqrt(x) 
<tf.Tensor: shape=(5,), dtype=float32, numpy=array([0., 1., 2., 3., 4.], dtype=float32)>

5.3 指数和对数运算

x = tf.constant([1.,2.,3.])
# 指数运算
2**x 
<tf.Tensor: shape=(3,), dtype=float32, numpy=array([2., 4., 8.], dtype=float32)>
# 自然指数运算
tf.exp(1.)
<tf.Tensor: shape=(), dtype=float32, numpy=2.7182817>
x = tf.exp(3.)
# 对数运算
tf.math.log(x) 
<tf.Tensor: id=472, shape=(), dtype=float32, numpy=3.0>
x = tf.constant([1.,2.])
x = 10**x
# 换底公式
tf.math.log(x)/tf.math.log(10.) 
<tf.Tensor: shape=(2,), dtype=float32, numpy=array([1., 2.], dtype=float32)>

5.4 矩阵相乘运算

神经网络中间包含了大量的矩阵相乘运算,前面我们已经介绍了通过@运算符可以方
便的实现矩阵相乘,还可以通过 tf.matmul(a, b)实现。需要注意的是,TensorFlow 中的矩阵
相乘可以使用批量方式,也就是张量 a,b 的维度数可以大于 2。当张量 a,b 维度数大于 2
时,TensorFlow 会选择 a,b 的最后两个维度进行矩阵相乘,前面所有的维度都视作 Batch 维 度。

根据矩阵相乘的定义,a 和 b 能够矩阵相乘的条件是,a 的倒数第一个维度长度(列)和 b 的倒数第二个维度长度(行)必须相等。比如张量 a shape:[4,3,28,32]可以与张量 b
shape:[4,3,32,2]进行矩阵相乘:

a = tf.random.normal([1,2,3,4])
b = tf.random.normal([1,2,4,3])
# 批量形式的矩阵相乘
aaa@qq.com
<tf.Tensor: shape=(1, 2, 3, 3), dtype=float32, numpy=
array([[[[ 0.68976855, -0.6210845 , -0.5555833 ],
         [ 0.85787934,  2.1133952 , -4.354555  ],
         [-1.2786795 ,  2.2707722 ,  2.1012263 ]],

        [[ 1.6670487 ,  0.176045  ,  0.5425054 ],
         [-1.7086754 , -0.12377246, -0.5034031 ],
         [-0.47702566, -0.49839175,  0.3666957 ]]]], dtype=float32)>

矩阵相乘函数支持自动 Broadcasting 机制:

a = tf.random.normal([1,2,3])
b = tf.random.normal([3,2])
# 先自动扩展,再矩阵相乘
tf.matmul(a,b)
<tf.Tensor: shape=(1, 2, 2), dtype=float32, numpy=
array([[[ 0.00706174,  0.4290892 ],
        [-3.5093076 , -2.220005  ]]], dtype=float32)>

6.前向传播实战

三层神经网络的实现:

o???????? = ????????????????{????????????????{????????????????[????@????1 + ????1]@????2 + ????2}@???? + ???? }

我们采用的数据集是 MNIST 手写数字图片集,输入节点数为 784,第一层的输出节点数是
256,第二层的输出节点数是 128,第三层的输出节点是 10,也就是当前样本属于 10 类别
的概率。

import matplotlib.pyplot as plt
import tensorflow as tf
import tensorflow.keras.datasets as datasets

plt.rcParams['font.size'] = 16
plt.rcParams['font.family'] = ['STKaiti']
plt.rcParams['axes.unicode_minus'] = False

加载数据集:

在前向计算时,首先将 shape 为[????, 28,28]的输入数据 Reshape 为[????, 784],将真实的标注张量 y 转变为 one-hot 编码

def load_data():
    # 加载 MNIST 数据集
    (x, y), (x_val, y_val) = datasets.mnist.load_data()
    # 转换为浮点张量, 并缩放到-1~1
    x = tf.convert_to_tensor(x, dtype=tf.float32) / 255.
    # 转换为整形张量
    y = tf.convert_to_tensor(y, dtype=tf.int32)
    # one-hot 编码
    y = tf.one_hot(y, depth=10)
    # 改变视图, [b, 28, 28] => [b, 28*28]
    x = tf.reshape(x, (-1, 28 * 28))

    # 构建数据集对象
    train_dataset = tf.data.Dataset.from_tensor_slices((x, y))
    # 批量训练
    train_dataset = train_dataset.batch(200)
    return train_dataset
a = load_data()

创建每个非线性函数的 w,b 参数张量:

def init_paramaters():
    # 每层的张量都需要被优化,故使用 Variable 类型,并使用截断的正太分布初始化权值张量
    # 偏置向量初始化为 0 即可
    # 第一层的参数
    w1 = tf.Variable(tf.random.truncated_normal([784, 256], stddev=0.1))
    b1 = tf.Variable(tf.zeros([256]))
    # 第二层的参数
    w2 = tf.Variable(tf.random.truncated_normal([256, 128], stddev=0.1))
    b2 = tf.Variable(tf.zeros([128]))
    # 第三层的参数
    w3 = tf.Variable(tf.random.truncated_normal([128, 10], stddev=0.1))
    b3 = tf.Variable(tf.zeros([10]))
    return w1, b1, w2, b2, w3, b3
def train_epoch(epoch, train_dataset, w1, b1, w2, b2, w3, b3, lr=0.001):
    for step, (x, y) in enumerate(train_dataset):
        with tf.GradientTape() as tape:
            # 第一层计算, [b, 784]@[784, 256] + [256] => [b, 256] + [256] => [b,256] + [b, 256]
            h1 = x @ w1 + tf.broadcast_to(b1, (x.shape[0], 256))
            h1 = tf.nn.relu(h1)  # 通过**函数

            # 第二层计算, [b, 256] => [b, 128]
            h2 = h1 @ w2 + b2
            h2 = tf.nn.relu(h2)
            # 输出层计算, [b, 128] => [b, 10]
            out = h2 @ w3 + b3

            # 计算网络输出与标签之间的均方差, mse = mean(sum(y-out)^2)
            # [b, 10]
            loss = tf.square(y - out)
            # 误差标量, mean: scalar
            loss = tf.reduce_mean(loss)

            # 自动梯度,需要求梯度的张量有[w1, b1, w2, b2, w3, b3]
            grads = tape.gradient(loss, [w1, b1, w2, b2, w3, b3])

        # 梯度更新, assign_sub 将当前值减去参数值,原地更新
        w1.assign_sub(lr * grads[0])
        b1.assign_sub(lr * grads[1])
        w2.assign_sub(lr * grads[2])
        b2.assign_sub(lr * grads[3])
        w3.assign_sub(lr * grads[4])
        b3.assign_sub(lr * grads[5])    
    
    return loss.numpy()
def train(epochs):
    losses = []
    train_dataset = load_data()
    w1, b1, w2, b2, w3, b3 = init_paramaters()
    for epoch in range(epochs):
        loss = train_epoch(epoch, train_dataset, w1, b1, w2, b2, w3, b3, lr=0.001)
        print('epoch:', epoch, 'loss:', loss)
        losses.append(loss)

    x = [i for i in range(0, epochs)]
    # 绘制曲线
    plt.plot(x, losses, color='blue', marker='s', label='train')
    plt.xlabel('Epoch')
    plt.ylabel('MSE')
    plt.legend()
    plt.show()
train(epochs=20)
epoch: 0 loss: 0.1580837
epoch: 1 loss: 0.14210287
epoch: 2 loss: 0.13077658
epoch: 3 loss: 0.12195561
epoch: 4 loss: 0.114933565
epoch: 5 loss: 0.10921349
epoch: 6 loss: 0.10445824
epoch: 7 loss: 0.10043198
epoch: 8 loss: 0.09693184
epoch: 9 loss: 0.0938519
epoch: 10 loss: 0.091136694
epoch: 11 loss: 0.08872058
epoch: 12 loss: 0.08654878
epoch: 13 loss: 0.08458985
epoch: 14 loss: 0.08280441
epoch: 15 loss: 0.08116647
epoch: 16 loss: 0.07964487
epoch: 17 loss: 0.07823177
epoch: 18 loss: 0.07691963
epoch: 19 loss: 0.07569754

Tensorflow:TensorFlow基础(二)