Pytorch之——GPU的使用
程序员文章站
2022-05-18 10:49:03
...
文章目录
一、CPU与GPU
由图中可以看出GPU的计算单元远多于CPU的计算单元,因此,使用GPU的计算速度是大于CPU的计算速度的。
二、数据迁移至GPU
1.参数说明
inplace的意思就是说,对于tensor数据转成GPU的形式还需要重新赋值,如图中的x=x.to(“cuda”)。但是对于model来说,转成GPU的形式,不需要重新赋值,如图中的linear.to(gpu1)
2.源码
tensor to cuda
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
#tensor to cuda
x_cpu = torch.ones((3, 3))
print("x_cpu:\ndevice: {} is_cuda: {} id: {}".format(x_cpu.device, x_cpu.is_cuda, id(x_cpu)))
x_gpu = x_cpu.to(device)
print("x_gpu:\ndevice: {} is_cuda: {} id: {}".format(x_gpu.device, x_gpu.is_cuda, id(x_gpu)))
module to cuda
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
net = nn.Sequential(nn.Linear(3, 3))
print("\nid:{} is_cuda: {}".format(id(net), next(net.parameters()).is_cuda))
net.to(device)
print("\nid:{} is_cuda: {}".format(id(net), next(net.parameters()).is_cuda))
# 弃用
x_gpu = x_cpu.cuda()
之前在Pytorch中都是使用这种方法,现在这种方法已经弃用
3.torch.cuda常用方法
三、多GPU并行计算
1.什么是多GPU并行计算
一个很形象的例子解释了什么是并行计算
2.Pytorch当中的并行计算
3.源码
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
# model
net = CNN()
net = nn.DataParallel(net)
net.to(device)
参考
深度之眼pytorch框架班
推荐阅读
-
php文件打包 下载之使用PHP自带的ZipArchive压缩文件并下载打包好的文件
-
ES7之Async/await的使用详解
-
python开发之IDEL(Python GUI)的使用方法图文详解
-
ASP之简化创建关闭记录集对象并创建使用简单的MSSQL存储过程
-
Android开发笔记之:一分钟学会使用Logcat调试程序的详解
-
ListView的Adapter使用(绑定数据) 之 自定义每一项的布局去绑定数据
-
ListView的Adapter使用 之 初学ArrayAdapter String
-
IOS开发入门之storyboard的使用
-
java架构之-负载均衡-Ribbon 的使用
-
nuxt踩坑之Vuex状态树的模块方式使用详解