scrapy调试时使用本地HTML文件
程序员文章站
2022-05-09 22:57:33
...
第一次爬取网页的时候直接保存了网页的内容,因此此时使用scrapy直接简单的在本地调试正则表达式:
from scrapy import Selector
body = open('网页地址/page2.html').read()
#使用scrapy自身的Selector解析文本
selector = Selector(text=body)
#这里获得所有a标签中的链接
a_list = selector.css('a::attr(href)')
#之后可以随意的调戏这个网页了(滑稽脸)
比较简短的代码,可以快速方便的调试本地内容
上一篇: 爬虫 - Scrapy全站爬取
下一篇: Ubuntu无法使用sudo,提示:/usr/bin/sudo must be owned by uid 0 and have the setuid bit set
推荐阅读
-
Vue2.0使用axios引入本地JSON文件时遇到的问题及解决
-
Vue2.0使用axios引入本地JSON文件时遇到的问题及解决
-
iOS 使用loadHTMLString加载本地html时,修改样式
-
Android Webview 加载外部html时选择加载本地的js,css等资源文件_html/css_WEB-ITnose
-
php 进行多图上传时,html文件中使用file 来接收文件为什么没有生成文件数组
-
php 进行多图上传时,html文件中使用file 来接收文件为什么没有生成文件数组
-
html - php如何 获取上传文件时,文件在本地的全路径
-
scrapy调试时使用本地HTML文件
-
python爬虫中使用lxml解析本地HTML文件报错lxml.etree.XMLSyntaxError: Opening and ending tag mismatch.....
-
html - php如何 获取上传文件时,文件在本地的全路径