欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python Scrapy多页数据爬取实现过程解析

程序员文章站 2022-06-15 10:10:21
1.先指定通用模板url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板pagenum = 12.对parse方法递归处理parse第一次...

1.先指定通用模板

url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板
pagenum = 1

2.对parse方法递归处理

parse第一次调用表示的是用来解析第一页对应页面中的数据

对后面的页码的数据要进行手动发送

if self.pagenum <= 5:
  self.pagenum += 1
  new_url = format(self.url%self.pagenum)
  #手动请求(get)的发送
  yield scrapy.request(new_url,callback=self.parse)

完整示例

class qiubaispider(scrapy.spider):
  name = 'qiubai'
  # allowed_domains = ['www.xxx.com']
  start_urls = ['https://www.qiushibaike.com/text/']
  
  url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板
  pagenum = 1
  #parse第一次调用表示的是用来解析第一页对应页面中的段子内容和作者
  def parse(self, response):
    div_list = response.xpath('//*[@id="content-left"]/div')
    all_data = []
    for div in div_list:
      author = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
      
      content = div.xpath('./a[1]/div/span//text()').extract()
      content = ''.join(content)

      # 将解析的数据存储到item对象
      item = qiubaiproitem()
      item['author'] = author
      item['content'] = content

      # 将item提交给管道
      yield item # item一定是提交给了优先级最高的管道类

    if self.pagenum <= 5:
      self.pagenum += 1
      new_url = format(self.url%self.pagenum)
      #手动请求(get)的发送
      yield scrapy.request(new_url,callback=self.parse)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。