欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

厌倦了Python训练?C++版本PyTorch尝试一下

程序员文章站 2024-03-18 13:40:22
...

厌倦了Python训练?C++版本PyTorch尝试一下

喜欢就关注我们吧!

PyTorch的流行给深度学习的发展带来了巨大的便利,然而工业界和嵌入式平台对于深度学习的应用还远远不够,很重要的一个原因就是Python在效率方面不能满足工业界的需求。PyTorch 1.5正式版的发布则是填补了PyTorch在这个方面的空缺。今天的一篇文章就为大家简单介绍一下如何用C++版本的PyTorch来训练。

原文作者:Venkata Chintapalli

翻译:zdi

PyTorch 1.5稳定版的一个重要更新就是增加了对于C++前端API的支持。C++API的支持对于要求低延迟,多线程,高并发的系统的很有必要。PyTroch的文档中对此有详细的说明(点击阅读原文即可查看)。本文以一个两层的神经网络为例带大家入门PyTorch的C++用法,后续还会为大家带来更多有关PyTorch的C++使用的教程。

厌倦了Python训练?C++版本PyTorch尝试一下

Libtorch C++库的安装

首先介绍一下如何安装,安装其实很简单,只需要从PyTorch官方下载代码,解压编译即可。

wget https://download.pytorch.org/libtorch/nightly/cpu/libtorch-shared-with-deps-latest.zip
unzip libtorch-shared-with-deps-latest.zip

这里只是针对最新版本的配置,对于不同的硬件条件和深度学习环境,请大家参考https://pytorch.org/tutorials/advanced/cpp_frontend.html查看。

下载完成之后的步骤是编译libtorch。

//build the example
mkdir build
cmake -DCMAKE_PREFIX_PATH=/path/to/libtorch
// run the example
cmake --build . --config Release

正常的输出为:

$ cmake -DCMAKE_PREFIX_PATH=~/pytorch/libtorch
CMake Warning:
  No source or binary directory provided.  Both will be assumed to be the
  same as the current working directory, but note that this warning will
  become a fatal error in future CMake releases.




-- The C compiler identification is GNU 7.5.0
-- The CXX compiler identification is GNU 7.5.0
-- Check for working C compiler: /usr/bin/cc
-- Check for working C compiler: /usr/bin/cc -- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Detecting C compile features
-- Detecting C compile features - done
-- Check for working CXX compiler: /usr/bin/c++
-- Check for working CXX compiler: /usr/bin/c++ -- works
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info - done
-- Detecting CXX compile features
-- Detecting CXX compile features - done
-- Looking for pthread.h
-- Looking for pthread.h - found
-- Looking for pthread_create
-- Looking for pthread_create - not found
-- Looking for pthread_create in pthreads
-- Looking for pthread_create in pthreads - not found
-- Looking for pthread_create in pthread
-- Looking for pthread_create in pthread - found
-- Found Threads: TRUE  
-- Found Torch: /home/yasasri/pytorch/libtorch/lib/libtorch.so  
-- Configuring done
-- Generating done
-- Build files have been written to: /home/yasasri/code/PyTorchCppFrontEnd
(base) aaa@qq.com:~/code/PyTorchCppFrontEnd$ cmake --build . --config Release
Scanning dependencies of target TwoLayerNetwork
[ 50%] Building CXX object CMakeFiles/TwoLayerNetwork.dir/TwoLayerNetwork.cpp.o
[100%] Linking CXX executable TwoLayerNetwork
[100%] Built target TwoLayerNetwork

厌倦了Python训练?C++版本PyTorch尝试一下

张量

PyTorch中最基础的三个模块为:张量,自动求导和网络模块。由于Python是动态语言,因此在Python中声明张量不需要指定变量类型,而C++是一门静态语言,在编码过程中指定变量类型,因此可以更快更安全的执行。因此将PyTorch的Python代码转化为C++代码的第一步就是指定变量类型。现代C++同样支持了 auto 类型的变量类型,编译器会在编译过程中自动为变量分配类型。

假设我们想要构造一个输入输出为随机值的函数

在PyTorch的Python接口中我们的写法为:

# Pythonx = torch.randn(N, D_in)y = torch.randn(N, D_out)

对应的C++写法为:

// C++
torch::Tensor x = torch::rand({N, D_in});
torch::Tensor y = torch::rand({N, D_out});

在这里我们用作用域运算符::取代了Python中.的用法。

厌倦了Python训练?C++版本PyTorch尝试一下

两层的神经网络模型

使用Python在PyTorch中定义模型时,需要继承torch.nn.Module。子类会相应继承父类的方法和属性,在Python中定义一个两层的神经网络的代码为:

# Pythonimport torch
class TwoLayerNet(torch.nn.Module):
    def __init__(self, D_in, H, D_out):        super(TwoLayerNet, self).__init__()        self.linear1 = torch.nn.Linear(D_in, H)        self.linear2 = torch.nn.Linear(H, D_out)           def forward(self.x):        h_relu = self.linear1(x).clamp(min=0)        y_pred = self.linear2(h_relu)        return y_pred

C++定义神经网络的方法是使用结构体(struct),值语义(value semantics)和引用语义(reference semantics)的都可以用于创建模型。使用值语义的代码为:

// C++ value semantics#include <torch/torch.h>// C++ neural network model defined with value semanticsstruct TwoLayerNet : torch::nn::Module {  // constructor with submodules registered in the initializer list  TwoLayerNet(int64_t D_in, int64_t D_out, int64_t H) :    linear1(register_module("linear1", torch::nn::Linear(D_in, H))),    linear2(register_module("linear2", torch::nn::Linear(H, D_out)))    {}  torch::Tensor forward(torch::Tensor x) {    x = torch::relu(linear1->forward(x));    x = linear2->forward(x);    return x;  }  torch::nn::Linear linear1;  torch::nn::Linear linear2;};// Usage: access the object using dot . operatorTwoLayerNet model(D_in, D_out, H);model.to(device);model.forward(x);model.parameters();

子类使用register_module() 方法可以调用父类的属性和方法:

/// Registers a submodule with this `Module`.////// This method deals with `ModuleHolder`s.////// Registering a module makes it available to methods such as /// `modules()`, `clone()` or `to()`.////// \rst/// .. code-block:: cpp//////   MyModule::MyModule() {///     submodule_ = register_module("linear", torch::nn::Linear(3, 4));///   }/// \endrsttemplate <typename ModuleType>std::shared_ptr<ModuleType> register_module(    std::string name,    ModuleHolder<ModuleType> module_holder);

使用引用语义定义在C++中定义网络的方法是使用std::shared_ptrTORCH_MODULE(TwoLayerNet)的宏定义定义了两层的网络结构。PyTorch推荐使用引用语义的方式在C++中定义模型,具体的代码为:

// C++ neural network model defined with reference semanticsstruct TwoLayerNetImpl : torch::nn::Module {  // module holders are assigned in the constructor  TwoLayerNetImpl(int64_t D_in, int64_t D_out, int64_t H) :        linear1(D_in, H), linear2(H, D_out) {      register_module("linear1", linear1);      register_module("linear2", linear2);  }  ... // forward() method    torch::nn::Linear linear1{nullptr}; //construct an empty holder  torch::nn::Linear linear2{nullptr}; //construct an empty holder};TORCH_MODULE(TwoLayerNet);// Usage: access the object using arrow -> operatorTwoLayerNet model(D_in, D_out, H);model->to(device);model->forward(x);model->parameters();

厌倦了Python训练?C++版本PyTorch尝试一下

优化器

Python和C++的优化器代码类似:

# Python SGD optimizer
learning_rate = 1e-4
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate, momentum=0.5)
# Zero the gradients before running the backward pass
optimizer.zero_grad()
# Update weights
optimizer.step()

C++代码为:

// C++ SGD optimizerfloat_t learning_rate = 1e-4;torch::optim::SGD optimizer(  model.parameters(),  torch::optim::SGDOptions(learning_rate).momentum(0.5));// Zero the gradients before running the backward passoptimizer.zero_grad()// Update the weightsoptimizer.step()

厌倦了Python训练?C++版本PyTorch尝试一下

结果对比

在Ubuntu 18.04的机器上,C++的效率大致是Python的两倍,下图为对比结果

厌倦了Python训练?C++版本PyTorch尝试一下

可以看到C++大致能达到两倍以上的加速效果,本文完整的代码链接为:https://github.com/venkatacrc/PyTorchCppFrontEnd。后续我们也将为大家带来更多有关于PyTorch C++用法(MNIST和DCGAN)和TensorRT的用法,敬请期待。

往期推荐

【CVPR 2020】用于目标检测的统一样本加权网络

厌倦了Python训练?C++版本PyTorch尝试一下

数据科学正在逐步失去吸引力,深度学习呢?

简单好用的深度学习论文绘图专用工具包--Science Plot

厌倦了Python训练?C++版本PyTorch尝试一下

AIZOO,打造中国最大的深度学习和人工智能社区,欢迎关注我们,也欢迎添加下方小助手的微信,邀请您加入我们的千人深度学习爱好者社区。

厌倦了Python训练?C++版本PyTorch尝试一下

欢迎扫描下方的二维码添加小助手微信,邀请您加入我们的微信交流群。

群里有多位清北复交、BAT、AI独角兽大牛和众多深度学习er在一起愉快的交流技术,有任何问题,都可以咨询大家,欢迎你的加入哦。

厌倦了Python训练?C++版本PyTorch尝试一下

 添加小助手微信,邀您进AIZOO技术交流群

来都来了,点个在看再走呗~