欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

二.scrapy框架调试

程序员文章站 2024-03-17 15:01:16
...
1.在爬虫所在项目中,增加 main.py文件
    from scrapy.cmdline import execute
    
    import sys
    import os
    
    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    execute(['scrapy', 'crawl', 'jobbole'])
    
2.shell 条件下调试
    scrapy  shell  url地址