PyTorch:The “freeze_support()” line can be omitted if the program is not going to be frozen
程序员文章站
2022-03-09 13:25:31
...
在windows上运行pytorch时,稍不注意就会遇到freeze_support()的错误。解决这种错误只要把代码放到if name == “main”: 中运行就可以了。
我们还是从报错信息开始看
line 105, in spawn_main
images, labels = next(iter(train_loader))
line 278, in __iter__
exitcode = _main(fd)
line 114, in _main
return _MultiProcessingDataLoaderIter(self)prepare(preparation_data)
in prepare
_fixup_main_from_path(data['init_main_from_path'])
。。。。。。。。一堆
line 278, in __iter__
ForkingPickler(file, protocol).dump(obj)
BrokenPipeError: [Errno 32] Broken pipe
return _MultiProcessingDataLoaderIter(self)
line 136, in _check_not_importing_main
is not going to be frozen to produce an executable.''')
RuntimeError:
An attempt has been made to start a new process before the
current process has finished its bootstrapping phase.
This probably means that you are not using fork to start your
child processes and you have forgotten to use the proper idiom
in the main module:
if __name__ == '__main__':
freeze_support()
...
The "freeze_support()" line can be omitted if the program
is not going to be frozen to produce an executable.
以下是其他博客的原文,我觉得说的不够详细
这是一个关于windows上多进程实现的问题。在windows上,子进程会自动import启动它的这个文件,而在import的时候是会自动执行这些语句的。如果不加__main__限制的化,就会无限递归创建子进程,进而报错。于是import的时候使用 name == “main” 保护起来就可以了。
需要弄明白的是,为什么有时候不会出现这种问题,有些时候会
我的结论是 :凡是涉及到dataloader从非内存加载数据迭代器取发生潜在分页可能时,就会出现这种问题
首先我们要知道计算机的结构
数据存在硬盘或者磁带(?别笑,真的有人用磁带),然后读到内存里面
供进程调用,而如何读,在多进程/多线程模型下又怎么读/发生页错误的
时候又怎么读?
windows和linux的处理方法不是完全一致的,windows这里简单理解就是我先开很多个线程,错误了我就重来反正你文件标识符是一样的。
本来这么做吧没啥问题,但是Pytorch为了构图的一致性,并没有
考虑到有些用户根本没想过多进程,但是自动调用了多进程的事儿。也就是上面那个原因