欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

scrapy中的css,xpath快速测试

程序员文章站 2022-05-11 17:28:43
...

在编写爬虫时。我们经常要写css,xpath来对网页中的信息进行提取。由于刚开始学习,语法不够熟练,不能正确的提取网页信息,经常导致爬虫报错。在运行爬虫前,对我们提取网页信息的css,xpath进行测试是非常重要的。

  • shell
scrapy shell [url]

以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。

scrapy shell http://www.baidu.com

并且启动交互式命令行,可以用来做一些测试。

response.body  # 网页响应正文 byte类型
response.text  # 网页响应正文 str类型
response.css()  # css选择器
repsonse.xpath()  # xpath选择器
response.css().re()
response.xpath().re()