欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

PyCharm工具下调试scrapy

程序员文章站 2022-05-10 15:06:02
...

PyCharm工具下调试scrapy

在项目的根目录下面创建一个main.py文件,将下面的代码复制进去,注意下最下面的

execute([‘scrapy’, ‘crawl’, ‘tencent’])

这行代码的最后一个参数为你的Spider类的name,这个需要写你自己的

# encoding: utf-8

"""

@Author: yedeguo
@File: main.py                                                               
@Time: 2017/9/12 下午6:10                                   
@Description: 

"""

from scrapy.cmdline import execute
import sys
import os

# 打断点调试py文件
# sys.path.append('D:\PyCharm\py_scrapyjobbole')
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
print(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy', 'crawl', 'tencent'])

然后就在相应的需要调试的地方打断点,进行调试了

再就是需要注意下,run或者debug的话都需要在main.py这个文件中执行,在其他的文件中执行是无效的,