欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

PyCharm Debug 运行 Scrapy 项目

程序员文章站 2022-03-03 07:50:36
...

Python 项目通过 IDE 集成一些框架时,想要启动好多时候都是直接敲框架对应的命令。此时如果我们需要通过 IDE 进行 Debug 调试,好多小伙伴不知道从何处下手。本文简要介绍通过 PyCharm Debug Scrapy 项目。

通常,我们通过在终端执行 scrapy crawl xxx_spider 命令启动指定爬虫。

我们查看该命令的调用流程。

查找入口,进入到 Scrapy 的安装目录,..\Python27\Lib\site-packages\scrapy,查看入口程序 __main__.py,代码如下: 发现调用的是 cmdline.py 里的 execute()

    from scrapy.cmdline import execute

    if __name__ == '__main__':
        execute()

所以,scrapy <command> [options] [args] 命令实际上就是 Python 命令,所以 scrapy 就等于 python ..\Python27\Lib\site-packages\scrapy/cmdline.py, 进一步的 scrapy crawl xxx_spider 命令就等同于 python ..\Python27\Lib\site-packages\scrapy/cmdline.py crawl xxx_sppider

既然这样,我们就可以 配置下 PyCharm 运行程序的 Configuration 就可以了,如下图,这样点击 run 或是 debug 就都可以直接运行了。

Configuration