pytorch中.to(device) 和.cuda()的区别说明
程序员文章站
2022-03-26 08:04:22
原理.to(device) 可以指定cpu 或者gpudevice = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") #...
原理
.to(device) 可以指定cpu 或者gpu
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 单gpu或者cpu model.to(device) #如果是多gpu if torch.cuda.device_count() > 1: model = nn.dataparallel(model,device_ids=[0,1,2]) model.to(device)
.cuda() 只能指定gpu
#指定某个gpu os.environ['cuda_visible_device']='1' model.cuda() #如果是多gpu os.environment['cuda_visible_devices'] = '0,1,2,3' device_ids = [0,1,2,3] net = torch.nn.dataparallel(net, device_ids =device_ids) net = torch.nn.dataparallel(net) # 默认使用所有的device_ids net = net.cuda()
class dataparallel(module): def __init__(self, module, device_ids=none, output_device=none, dim=0): super(dataparallel, self).__init__() if not torch.cuda.is_available(): self.module = module self.device_ids = [] return if device_ids is none: device_ids = list(range(torch.cuda.device_count())) if output_device is none: output_device = device_ids[0]
补充:pytorch使用to方法编写代码在不同设备(cuda/cpu)上兼容(device-agnostic)
以前版本的pytorch编写device-agnostic代码非常困难(即,在不修改代码的情况下在cuda可以使用或者只能使用cpu的设备上运行)。
device-agnostic的概念
即设备无关,可以理解为无论什么设备都可以运行您编写的代码。(ps:个人理解,我没有在网上找到专业解释)
pytorch 0.4.0使代码兼容
pytorch 0.4.0通过两种方法使代码兼容变得非常容易:
张量的device属性为所有张量提供了torch.device设备。(注意:get_device仅适用于cuda张量)
to方法tensors和modules可用于容易地将对象移动到不同的设备(代替以前的cpu()或cuda()方法)
我们推荐以下模式:
# 开始脚本,创建一个张量 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") ... # 但是无论你获得一个新的tensor或者module # 如果他们已经在目标设备上则不会执行复制操作 input = data.to(device) model = mymodule(...).to(device)
以上为个人经验,希望能给大家一个参考,也希望大家多多支持。
推荐阅读
-
php中require和require_once的区别说明
-
MySQL中冗余和重复索引的区别说明
-
pytorch中.to(device) 和.cuda()的区别说明
-
Pytorch中torch.nn和torch.nn.functional的区别及实例详解
-
css3媒体查询中device-width和width的区别详解
-
对python中arange()和linspace()的区别说明
-
php中require和require_once的区别说明
-
对Keras中predict()方法和predict_classes()方法的区别说明
-
javascript中apply和call方法的作用及区别说明_javascript技巧
-
php中require和require_once的区别说明_PHP教程