scrapy怎么debug断点调试
程序员文章站
2022-05-10 22:58:57
...
scrapy怎么debug断点调试
1、 在项目的文件夹下增加一个文件main.py(scrapy.cfg同等级中)
main.py文件
from scrapy.cmdline import execute
import os
import sys
if __name__ == '__main__':
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy','crawl','scrapy_name'])
解析如下
1、 os.path.abspath(path) 返回绝对路径
2、os.path.dirname(path) 返回文件夹路径
3、sys.path 返回模块的搜索路径,初始化时使用PYTHONPATH环境变量的值, sys.path.append当前文件执行的目录的路劲就加入到python
路劲里面
4、file 本文件的地址
文件解析具体些地址参考https://blog.csdn.net/huangwencai123/article/details/89879951
这行代码获取当前py文件的父目录,省去我们直接复制路径的精力和时间,同时也方便我们将该项目放到其他的平台上去运行,不会报路径的错误。
5、execute(execute函数是内嵌在scrapy中的,调用这个函数可以直接调用该Scrapy工程项目的爬虫脚本,这个函数的执行需要在爬虫项目的父目录下进行。execute函数里边的参数其实就是将Scrapy爬虫执行命令拆分,然后分别以一个字符的方式放到了一个数组中。
这个执行可以不用写scrpy命令了
2、调试断点
在scrapy的spider中设置断点,main.py中用debug调试则可。
推荐阅读
-
myeclipse怎么使用debug调试程序?
-
android studio怎么对library进行断点调试?
-
一下phpeclipse 如何设置段断点调试 debug 啊 啊 !
-
一下phpeclipse 如何设置段断点调试 debug
-
一下phpeclipse 如何设置段断点调试 debug 啊 啊 !
-
一下phpeclipse 如何设置段断点调试 debug 啊 啊 !
-
pycharm debug怎么用? pycharm进行debug调试的教程
-
debug - 你是怎么调试PHP的?
-
Chrome开发者工具中Elements(元素)断点的用途 Chromeelementsbreakpoint调试debug
-
debug - 你是怎么调试PHP的?