Scrapy中的POST请求发送和递归爬取
程序员文章站
2023-01-14 20:36:58
POST请求发送 重写爬虫应用文件中继承Spider类的 类的里面的start_requests(self)这个方法 递归爬取 - 递归爬取解析多页页面数据 - 需求:将糗事百科所有页码的作者和段子内容数据进行爬取且持久化存储 - 需求分析:每一个页面对应一个url,则scrapy工程需要对每一个页 ......
post请求发送
重写爬虫应用文件中继承spider类的 类的里面的start_requests(self)这个方法
def start_requests(self): #请求的url post_url = 'http://fanyi.baidu.com/sug' # post请求参数 formdata = { 'kw': 'wolf', } # 发送post请求 yield scrapy.formrequest(url=post_url, formdata=formdata, callback=self.parse)
递归爬取
- 递归爬取解析多页页面数据
- 需求:将糗事百科所有页码的作者和段子内容数据进行爬取且持久化存储
- 需求分析:每一个页面对应一个url,则scrapy工程需要对每一个页码对应的url依次发起请求,然后通过对应的解析方法进行作者和段子内容的解析。
- 实现方案:
1.将每一个页码对应的url存放到爬虫文件的起始url列表(start_urls)中。(不推荐)
2.使用request方法手动发起请求。(推荐)
代码:
# -*- coding: utf-8 -*- import scrapy from qiushibaike.items import qiushibaikeitem # scrapy.http import request class qiushispider(scrapy.spider): name = 'qiushi' allowed_domains = ['www.qiushibaike.com'] start_urls = ['https://www.qiushibaike.com/text/'] #爬取多页 pagenum = 1 #起始页码 url = 'https://www.qiushibaike.com/text/page/%s/' #每页的url def parse(self, response): div_list=response.xpath('//*[@id="content-left"]/div') for div in div_list: #//*[@id="qiushi_tag_120996995"]/div[1]/a[2]/h2 author=div.xpath('.//div[@class="author clearfix"]//h2/text()').extract_first() author=author.strip('\n') content=div.xpath('.//div[@class="content"]/span/text()').extract_first() content=content.strip('\n') item=qiushibaikeitem() item['author']=author item['content']=content yield item #提交item到管道进行持久化 #爬取所有页码数据 if self.pagenum <= 13: #一共爬取13页(共13页) self.pagenum += 1 url = format(self.url % self.pagenum) #递归爬取数据:callback参数的值为回调函数(将url请求后,得到的相应数据继续进行parse解析),递归调用parse函数 yield scrapy.request(url=url,callback=self.parse)