欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识！
您现在的位置是： 首页

Windows10下源码编译MXNet C++ api

程序员文章站 2022-04-05 10:12:17
...

为什么要编译等这种介绍性的文字就不多说了。直入主题：Windows下源码编译mxnet

MXNet的依赖相对而言是比较少的了，但编译起来也不简单。

你可以按照官方的文档来编译，按道理来讲，结果都是一样的，我习惯用cmake-gui，主要是配置参数时很直观。

官网的资料很多，各个地方描述也不一致，我大致总结一下，

总结说明

（1）由于MXNet有众多的依赖，所以如果使用git clone，一定要加上--recursive指令，这样3rdparty文件夹下的各个依赖模块会自动下载。因为我使用的文件包，所以就不用这个git clone了。

（2）这里专门说明，最新版的MXNet支持MSVC2019。参考：https://mxnet.cdn.apache.org/get_started/build_from_source

（3）在不使用git clone的情况下，编译哪个文件包，官方文档中已经明确指明。在不使用git clone --recursive的情况下，是这个链接 https://mxnet.cdn.apache.org/get_started/download 下的.tar.gz包(the Download page and download the .tar.gz)，对应到 https://github.com/apache/incubator-mxnet/releases ，以1.60版为例 ，有以下5个文件包，需要下载的就是下面的第一个包

Assets5

apache-mxnet-src-1.6.0-incubating.tar.gz34.3 MB

apache-mxnet-src-1.6.0-incubating.tar.gz.asc833 Bytes

apache-mxnet-src-1.6.0-incubating.tar.gz.sha512171 Bytes

Source code(zip)

Source code(tar.gz)

目前最新版是1.70rc0，全部下载资源如下，编译同样选择第一个包。

Assets5

apache-mxnet-src-1.7.0.rc0-incubating.tar.gz35.4 MB

apache-mxnet-src-1.7.0.rc0-incubating.tar.gz.asc836 Bytes

apache-mxnet-src-1.7.0.rc0-incubating.tar.gz.sha512175 Bytes

Source code(zip)

Source code(tar.gz)

还有1.5.1（1.5的改进版）这个版本，是经常使用的，相关资料也比较多，要源码编译的话，同样选第一个包，

Assets5

apache-mxnet-src-1.5.1-incubating.tar.gz159 MB

apache-mxnet-src-1.5.1-incubating.tar.gz.asc836 Bytes

apache-mxnet-src-1.5.1-incubating.tar.gz.sha512171 Bytes

Source code(zip)

Source code(tar.gz)

（4）配置哪些选项

根据https://github.com/dmlc/gluon-cv/tree/master/scripts/deployment/cpp-inference中的说明文档，默认的选择项前面已经有一大堆选择，逐个按需要配置，比如

-DUSE_CUDA=0 -DUSE_CUDNN=0 -DUSE_OPENCV=1 -DUSE_OPENMP=1 -DUSE_PROFILER=1 -DUSE_BLAS=open -DUSE_LAPACK=1 -DUSE_DIST_KVSTORE=0 -DUSE_MKL_IF_AVAILABLE=0 -DUSE_CPP_PACKAGE=1 -DBUILD_CPP_EXAMPLES=0 -DDO_NOT_BUILD_EXAMPLES=1 -DCMAKE_INSTALL_PREFIX=c:\incubator-mxnet

去掉USE_F16C，否则报错：F16C instruction set is not yet supported for MSVC；

去掉USE_JEMALLOC （to avoid incompatibilities with LLVM’s OpenMP library）；

去掉MKL所有相关的选项（假设你是要编译OpenBlas支持的项目）；

CUDA什么的根据自己的实际情况选。

(5) 关于OpenCV

添加OpenCV目录，这个不多说了，我的OpenCV都是自己编译的，

https://blog.csdn.net/tanmx219/article/details/106928732

你可以直接下载官方的版本再配置，比如使用这个地方的openCV包:

https://github.com/opencv/opencv/releases/tag/4.3.0

配置目录下面有那个OpenCVConfig.cmake文件即可。

（6）OpenBlas的配置

OpenBlas要输入2个地址，一个是lib（注意不是lib directory)，一个是include directory，以我自己下载的windows版为例，是这两个地址：

D:\devMXNet\OpenBLAS-0.3.10-x64\lib\libopenblas.lib

D:\devMXNet\OpenBLAS-0.3.10-x64\include

上面这个libopenblas.lib，我用libopenblas.dll.a发现也可以正确完成编译，不知道为什么，还没有比较使用这两者之间的区别，如果有时间做了分析，我尽量后续补上。

最后， 上图

 

Windows10下源码编译MXNet C++ api

反复configure几次后，会出现一些警告，貌似是gtest版本什么的，貌似没有什么影响，不管，直接Generate生成项目，开始启动vs2019编译即可，

Windows10下源码编译MXNet C++ api

 

选择Release模式，编译出奇地慢，1个多小时吧，耐心等待吧！能计划到休息时再编译就完美了。

正常情况下，最后会生成libmxnet.dll。偶尔会有找不到op.h这样的报错，貌似这些主要是给例子用的，对libmxnet.dll没有影响。

 

处理 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory

这里特别列出来，是因为大多数在Windows系统中使用cmake-gui的朋友都会碰到，但没有一个给出了合理的解决方案，如果直接使用Makefile，貌似没有这个问题（我没试过）。后来我参考了这里（https://www.programmersought.com/article/14353977045/）的说明，大概知道了原因。现在把解决方案分享出来。

报错

报错内容大致如下

........ 严重性 代码 说明 项目 文件 行 禁止显示状态 错误 C1083 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory mlp D:\devMXNet\apache-mxnet-160\cpp-package\include\mxnet-cpp\optimizer.hpp 37

错误 C1083 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory mlp_gpu D:\devMXNet\apache-mxnet-160\cpp-package\include\mxnet-cpp\optimizer.hpp 37

错误 C1083 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory mlp_cpu D:\devMXNet\apache-mxnet-160\cpp-package\include\mxnet-cpp\optimizer.hpp 37

错误 C1083 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory resnet D:\devMXNet\apache-mxnet-160\cpp-package\include\mxnet-cpp\optimizer.hpp 37

错误 C1083 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory alexnet D:\devMXNet\apache-mxnet-160\cpp-package\include\mxnet-cpp\optimizer.hpp 37

错误 C1083 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory googlenet D:\devMXNet\apache-mxnet-160\cpp-package\include\mxnet-cpp\optimizer.hpp 37

错误 C1083 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory charRNN D:\devMXNet\apache-mxnet-160\cpp-package\include\mxnet-cpp\optimizer.hpp 37

错误 C1083 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory inception_bn D:\devMXNet\apache-mxnet-160\cpp-package\include\mxnet-cpp\optimizer.hpp 37

错误 C1083 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory lenet D:\devMXNet\apache-mxnet-160\cpp-package\include\mxnet-cpp\optimizer.hpp 37

错误 C1083 无法打开包括文件: “mxnet-cpp/op.h”: No such file or directory lenet_with_mxdataiter D:\devMXNet\apache-mxnet-160\cpp-package\include\mxnet-cpp\optimizer.hpp 37

 

解决办法

切换到你的安装有mxnet（python api）的python环境，并且到这个地址下面(根据自己的编译目录选)，

D:\devMXNet\apache-mxnet-151\cpp-package\script

使用下面的命令

python OpWrapperGenerator.py libmxnet.dll

如果你喜欢指定绝对地址的话，就是

python OpWrapperGenerator.py D:\\devMXNet\\apache-mxnet-151\\cpp-package\\scripts\\libmxnet.dll

如果一切正常的话，在这个相应的位置你就能找到这个op.h文件，

D:\devMXNet\apache-mxnet-151\cpp-package\include\mxnet-cpp\op.h

 

如果依赖文件不全，可能会出现下面的问题

如果OpWrapperGenerator.py在scripts下只能找到libmxnet.dll的话，大概率会得到下面的报错

Traceback (most recent call last):
  File "D:\Anaconda3\envs\mx36gpu\lib\runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "D:\Anaconda3\envs\mx36gpu\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)
  ......
  File "d:\devMXNet\apache-mxnet-151\cpp-package\scripts\OpWrapperGenerator.py", line 320, in ParseAllOps
    cdll.libmxnet = cdll.LoadLibrary(sys.argv[1])
  File "D:\Anaconda3\envs\mx36gpu\lib\ctypes\__init__.py", line 426, in LoadLibrary
    return self._dlltype(name)
  File "D:\Anaconda3\envs\mx36gpu\lib\ctypes\__init__.py", line 348, in __init__
    self._handle = _dlopen(self._name, mode)
OSError: [WinError 126] 找不到指定的模块。

这是因为libmxnet.dll的依赖模块找不到，有两种办法可以解决这个问题。

其一是在Path中加入这些模块的地址（有点麻烦）。

其二，把所有要用的模块统统拷贝到scripts这个目录下面，和OpWrapperGenerator.py放到一起，我就是这么干的。如下图，

Windows10下源码编译MXNet C++ api

 

当然这里有些是多余的，但这么一路搞过来，我实在有点累了，懒得一个个挑选。如果你想详细知道libmxnet.dll有哪些依赖，可以去这里

https://github.com/lucasg/Dependencies/releases

下载一个Windows下的依赖关系分析器Dependencies，根据里面提到的依赖一个一个地添加，我截个图吧（唉，好麻烦啊）

Windows10下源码编译MXNet C++ api

生的op.h我放到这里了（还没测试，不一定能用，就是看长什么样子而已，唉，真是一堆Op）

https://download.csdn.net/download/tanmx219/12594399

通过OpWrapperGenerator.py生成OP.h时的问题

在用python生成op.h文件时，你可能会碰到这样的问题

argument "lrs" of operator "multi_sgd_update" has unknown type ", required"
argument "wds" of operator "multi_sgd_update" has unknown type ", required"
argument "lrs" of operator "multi_sgd_mom_update" has unknown type ", required"
argument "lrs" of operator "multi_sgd_mom_update" has unknown type ", required"
argument "wds" of operator "multi_sgd_mom_update" has unknown type ", required"
argument "lrs" of operator "multi_mp_sgd_update" has unknown type ", required"
argument "wds" of operator "multi_mp_sgd_update" has unknown type ", required"
argument "lrs" of operator "multi_mp_sgd_mom_update" has unknown type ", required"
argument "wds" of operator "multi_mp_sgd_mom_update" has unknown type ", required"

解决办法如下。

找到这个文件，https://github.com/apache/incubator-mxnet/blob/master/include/mxnet/tuple.h#L744

把里面的#if这个块注释掉。

namespace dmlc {
/*! \brief description for optional TShape */
DMLC_DECLARE_TYPE_NAME(optional<mxnet::TShape>, "Shape or None");
DMLC_DECLARE_TYPE_NAME(optional<mxnet::Tuple<int>>, "Shape or None");
// avoid low version of MSVC
#if !defined(_MSC_VER) // <----------- Here !
template<typename T>
struct type_name_helper<mxnet::Tuple<T> > {
  static inline std::string value() {
    return "tuple of <" + type_name<T>() + ">";
  }
};
#endif
}  // namespace dmlc

解决方案在这里

https://github.com/apache/incubator-mxnet/issues/14116

https://github.com/apache/incubator-mxnet/issues/15143

https://github.com/apache/incubator-mxnet/pull/15144

我查看了1.60版的，这个地方已经改成下面的样子了（添加了&& _MSC_VER < 1900），

namespace dmlc {
/*! \brief description for optional TShape */
DMLC_DECLARE_TYPE_NAME(optional<mxnet::TShape>, "Shape or None");
DMLC_DECLARE_TYPE_NAME(optional<mxnet::Tuple<int>>, "Shape or None");
// avoid low version of MSVC
#if !(defined(_MSC_VER) && _MSC_VER < 1900)
template<typename T>
struct type_name_helper<mxnet::Tuple<T> > {
  static inline std::string value() {
    return "tuple of <" + type_name<T>() + ">";
  }
};
#endif
}  // namespace dmlc

另外，附上OSError: [WinError 126] 找不到指定的模块 —— 解决办法

Python程序在使用ctypes库调用C++程序创建的dll时，会产生如下错误：

OSError: [WinError 126] 找不到指定的模块

经百度后发现，引起此类问题的主要原因有二：

（1）找不到该DLL文件，路径不对或者被杀毒软件隔离；

（2）DLL动态库依赖于其他其他DLL动态库无法被系统找到。如果依赖库依赖其他库，一层一层地，都要找到，也就是说，在Python里面载入dll时，如果这个dll还依赖于其它的dll的话，这些相关的dll也得要能被Python的进程访问到（感觉好啰嗦）。

解决方法：

对于原因一，可以把文件路径改为绝对路径；把杀毒软件关闭重新操作。

对于原因二，最基本的解决方式是把相关的DLL 动态库也导进来。如果无法确定相关DLL 动态库，引起这类问题的原因很可能是由于你的目标主机没有安装相关的C++环境，去弄个Visual C++ Redistributable运行库吧！

相关标签： MXNet

上一篇： mac 安装jdk

下一篇： leetcode 58.最后一个单词的长度

推荐阅读