欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

MXNet/Gluon 中网络和参数的存取方式

程序员文章站 2022-04-05 09:58:48
...

Gluon是MXNet的高层封装,网络设计简单易用,与Keras类似。随着深度学习技术的普及,类似于Gluon这种,高层封装的深度学习框架,被越来越多的开发者接受和使用。

在开发深度学习算法时,必然会涉及到网络(symbol)和参数(params)的存储与加载,Gluon模型的存取接口,与MXNet略有不同。在MXNet体系中,网络与参数是分离的,这样的设计,有利于迁移学习(Transfer Learning)中的参数复用。

本文分别介绍MXNet和Gluon中网络和参数的存取方式。

在MXNet体系中,net = symbol + params。

本文地址https://blog.csdn.net/caroline_wendy/article/details/80494120

MXNet/Gluon 中网络和参数的存取方式


MXNet

MXNet中网络和参数是分离的,这两部分需要分别存储和读取。

网络

MXNet的网络(symbol)使用json格式存储:

  1. 创建填充变量data,即mx.sym.var('data')
  2. 将填充变量置入网络,即net_triplet(vd)
  3. 获取填充之后的网络结构,转换为json对象,即vnet.tojson()
  4. 将json对象写入文件,即write_line(json_file, sym_json)

则,最终的json文件就是MXNet的网络结构。

实现:

vd = mx.sym.var('data')
vnet = net_triplet(vd)
sym_json = vnet.tojson()
json_file = os.path.join(ROOT_DIR, 'experiments', 'sym.json')
write_line(json_file, sym_json)

sym_json = net_triplet(mx.sym.var('data')).tojson()
json_file = os.path.join(ROOT_DIR, 'experiments', 'sym.json')
write_line(json_file, sym_json)

这种存储网络的方式,同时适用于MXNet和Gluon网络。

参数

MXNet的参数(params)存储比较简单:

  1. 在训练过程中,自动调整网络的参数;
  2. 在训练过程中,调用网络的save_params()函数,即可保存参数。

在参数的文件名中,加入epoch和准确率,有利于参数选择。

实现:

params_path = os.path.join(
    ROOT_DIR, self.config.cp_dir,
    "triplet_loss_model_%s_%s.params" % (epoch, '%0.4f' % dist_acc)
)  # 模型文件位置
self.model.save_params(params_path)  # 存储模型

读取

MXNet网络和参数的加载方式:

  • 网络:调用SymbolBlock()创建网络,output是已加载的Json结构,input是填充的data变量;
  • 参数:调用load_params()加载参数,params是参数路径,ctx是上下文,即CPU或GPU环境。

实现:

sym = os.path.join(ROOT_DIR, self.config.cp_dir, "sym.json")
params = os.path.join(ROOT_DIR, self.config.cp_dir, "triplet_loss_model_88_0.9934.params")
self.model = gluon.nn.SymbolBlock(outputs=mx.sym.load(sym), inputs=mx.sym.var('data'))
self.model.load_params(params, ctx=ctx)

Gluon

Gluon对比与MXNet,提供更加高层的存取方法,简单高效。

存储

除了MXNet的存储方式之外,Gluon网络提供特定的export()方法,同时支持导出网络和参数:

  • 输入:path是文件前缀;epoch是epoch数,支持训练中多次保存;
  • 输出:[前缀]-symbol.json的网络;[前缀]-[epoch 4位].params的参数;

实现:

symbol_file = os.path.join(ROOT_DIR, self.config.cp_dir, 'triplet-net')
self.model.export(path=symbol_file, epoch=epoch)  # gluon的export

注意:export()方法只能位于训练阶段,不能位于设计阶段。

读取

Gluon支持通过文件前缀(即export()的输出)的方式,加载网络与参数:

  • load_checkpoint(),读取前缀数据:
    • 输入:prefix是前缀,epoch是epoch数;
    • 输出:sym是网络,arg_params是权重参数,aux_params是辅助状态;
  • SymbolBlock(),设置网络结构,与MXNet类似:
    • outputs:已加载的Json结构;
    • inputs:填充的data变量;
  • 设置collect_params()参数,区分:
    • 权重参数,arg_params
    • 辅助状态,net_params

当加载完成网络和参数之后,就完成了Gluon模型的创建。

实现:

prefix = os.path.join(ROOT_DIR, self.config.cp_dir, "triplet-net")  # export导出的前缀
sym, arg_params, aux_params = mx.model.load_checkpoint(prefix=prefix, epoch=5)
net = gluon.nn.SymbolBlock(outputs=sym, inputs=mx.sym.var('data'))  # 加载网络结构
# 设置网络参数
net_params = net.collect_params()
for param in arg_params:
    if param in net_params:
        net_params[param]._load_init(arg_params[param], ctx=ctx)
for param in aux_params:
    if param in net_params:
        net_params[param]._load_init(aux_params[param], ctx=ctx)

错误

当出现如下错误时,即表示网络与参数的前缀不一致:

AssertionError: Parameter 'net_conv0_weight' is missing in file 'xxxx.params', 
which contains parameters: 'dense0_bias', ..., 'batchnorm2_gamma'. 
Please make sure source and target networks have the same prefix.

也就是网络中的单元名称与参数中的单元名称不同,前缀不同。

解决方案:按照参数中的前缀,统一设置prefix即可,没有前缀则设置为空字符串,如:

net_triplet = HybridSequential(prefix='')

因为,参数训练较慢,而网络容易修改,因此,优先修改网络的参数名称。


MXNet网络的存取方式,也可以用于Gluon网络,即Gluon是兼容MXNet的。在MXNet的基础上,Gluon还在不断地迭代和完善中,期待更多简洁的接口,降低深度学习的开发门槛,All with AI。

OK, that’s all! Enjoy it!