欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

scrapy调试时使用本地HTML文件

程序员文章站 2022-05-09 22:57:33
...

第一次爬取网页的时候直接保存了网页的内容,因此此时使用scrapy直接简单的在本地调试正则表达式:

from scrapy import Selector

body = open('网页地址/page2.html').read()
#使用scrapy自身的Selector解析文本
selector = Selector(text=body)

#这里获得所有a标签中的链接
a_list = selector.css('a::attr(href)')
#之后可以随意的调戏这个网页了(滑稽脸)

比较简短的代码,可以快速方便的调试本地内容

相关标签: scrapy 爬虫