scrapy中的css,xpath快速测试
程序员文章站
2022-05-11 17:28:43
...
在编写爬虫时。我们经常要写css,xpath来对网页中的信息进行提取。由于刚开始学习,语法不够熟练,不能正确的提取网页信息,经常导致爬虫报错。在运行爬虫前,对我们提取网页信息的css,xpath进行测试是非常重要的。
- shell
scrapy shell [url]
以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。
scrapy shell http://www.baidu.com
并且启动交互式命令行,可以用来做一些测试。
response.body # 网页响应正文 byte类型
response.text # 网页响应正文 str类型
response.css() # css选择器
repsonse.xpath() # xpath选择器
response.css().re()
response.xpath().re()