欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

scrapy怎么debug断点调试

程序员文章站 2022-05-10 22:58:57
...

scrapy怎么debug断点调试
1、 在项目的文件夹下增加一个文件main.py(scrapy.cfg同等级中)
main.py文件

from scrapy.cmdline import execute
import os
import sys
if __name__ == '__main__':

    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    execute(['scrapy','crawl','scrapy_name'])

解析如下
1、 os.path.abspath(path) 返回绝对路径
2、os.path.dirname(path) 返回文件夹路径
3、sys.path 返回模块的搜索路径,初始化时使用PYTHONPATH环境变量的值, sys.path.append当前文件执行的目录的路劲就加入到python
路劲里面
4、file 本文件的地址
文件解析具体些地址参考https://blog.csdn.net/huangwencai123/article/details/89879951
这行代码获取当前py文件的父目录,省去我们直接复制路径的精力和时间,同时也方便我们将该项目放到其他的平台上去运行,不会报路径的错误。
5、execute(execute函数是内嵌在scrapy中的,调用这个函数可以直接调用该Scrapy工程项目的爬虫脚本,这个函数的执行需要在爬虫项目的父目录下进行。execute函数里边的参数其实就是将Scrapy爬虫执行命令拆分,然后分别以一个字符的方式放到了一个数组中。

这个执行可以不用写scrpy命令了

2、调试断点
在scrapy的spider中设置断点,main.py中用debug调试则可。