pytorch中.to(device) 和.cuda()的区别说明

原理

.to(device) 可以指定cpu 或者gpu

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 单gpu或者cpu
model.to(device)
#如果是多gpu
if torch.cuda.device_count() > 1:
  model = nn.dataparallel(model，device_ids=[0,1,2])
model.to(device)

.cuda() 只能指定gpu

#指定某个gpu
os.environ['cuda_visible_device']='1'
model.cuda()
#如果是多gpu
os.environment['cuda_visible_devices'] = '0,1,2,3'
device_ids = [0,1,2,3]
net  = torch.nn.dataparallel(net, device_ids =device_ids)
net  = torch.nn.dataparallel(net) # 默认使用所有的device_ids 
net = net.cuda()

class dataparallel(module):
    def __init__(self, module, device_ids=none, output_device=none, dim=0):
        super(dataparallel, self).__init__()

        if not torch.cuda.is_available():
            self.module = module
            self.device_ids = []
            return

        if device_ids is none:
            device_ids = list(range(torch.cuda.device_count()))
        if output_device is none:
            output_device = device_ids[0]

补充：pytorch使用to方法编写代码在不同设备(cuda/cpu)上兼容(device-agnostic)

以前版本的pytorch编写device-agnostic代码非常困难（即，在不修改代码的情况下在cuda可以使用或者只能使用cpu的设备上运行）。

device-agnostic的概念

即设备无关，可以理解为无论什么设备都可以运行您编写的代码。(ps:个人理解，我没有在网上找到专业解释)

pytorch 0.4.0使代码兼容

pytorch 0.4.0通过两种方法使代码兼容变得非常容易：

张量的device属性为所有张量提供了torch.device设备。（注意：get_device仅适用于cuda张量）

to方法tensors和modules可用于容易地将对象移动到不同的设备（代替以前的cpu()或cuda()方法）

我们推荐以下模式：

# 开始脚本，创建一个张量
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
...
# 但是无论你获得一个新的tensor或者module
# 如果他们已经在目标设备上则不会执行复制操作
input = data.to(device)
model = mymodule(...).to(device)

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。