欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

PyTorch:The “freeze_support()” line can be omitted if the program is not going to be frozen

程序员文章站 2022-03-09 13:25:31
...

在windows上运行pytorch时,稍不注意就会遇到freeze_support()的错误。解决这种错误只要把代码放到if name == “main”: 中运行就可以了。
我们还是从报错信息开始看

line 105, in spawn_main
    images, labels = next(iter(train_loader))

line 278, in __iter__
    exitcode = _main(fd)

line 114, in _main
        return _MultiProcessingDataLoaderIter(self)prepare(preparation_data)

in prepare
    _fixup_main_from_path(data['init_main_from_path'])

。。。。。。。。一堆
line 278, in __iter__
    ForkingPickler(file, protocol).dump(obj)
BrokenPipeError: [Errno 32] Broken pipe
    return _MultiProcessingDataLoaderIter(self)


line 136, in _check_not_importing_main
    is not going to be frozen to produce an executable.''')
RuntimeError: 
        An attempt has been made to start a new process before the
        current process has finished its bootstrapping phase.

        This probably means that you are not using fork to start your
        child processes and you have forgotten to use the proper idiom
        in the main module:

            if __name__ == '__main__':
                freeze_support()
                ...

        The "freeze_support()" line can be omitted if the program
        is not going to be frozen to produce an executable.

以下是其他博客的原文,我觉得说的不够详细

这是一个关于windows上多进程实现的问题。在windows上,子进程会自动import启动它的这个文件,而在import的时候是会自动执行这些语句的。如果不加__main__限制的化,就会无限递归创建子进程,进而报错。于是import的时候使用 name == “main” 保护起来就可以了。

需要弄明白的是,为什么有时候不会出现这种问题,有些时候会

我的结论是 :凡是涉及到dataloader从非内存加载数据迭代器取发生潜在分页可能时,就会出现这种问题

首先我们要知道计算机的结构

数据存在硬盘或者磁带(?别笑,真的有人用磁带),然后读到内存里面
供进程调用,而如何读,在多进程/多线程模型下又怎么读/发生页错误的
时候又怎么读?

windows和linux的处理方法不是完全一致的,windows这里简单理解就是我先开很多个线程,错误了我就重来反正你文件标识符是一样的。
本来这么做吧没啥问题,但是Pytorch为了构图的一致性,并没有
考虑到有些用户根本没想过多进程,但是自动调用了多进程的事儿。也就是上面那个原因

好吧说了这么多也像是给自己讲故事,记住放在if name == ‘main’: 里面就好了

相关标签: GAN