欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

爬虫 - Scrapy图片爬取

程序员文章站 2022-05-09 22:50:44
...


一、ImagePipeline

ImagePipeline是一个管道类
只需要将img的src的属性值进行解析, 提交到管道, 管道就会对图片的src进行请求发送获取二进制数据并进行持久化存储

二、使用步骤

需求 : 爬取素材的图片

1.使用步骤

  • 数据解析
  • 将存储图片地址的item提交到指定的管道类
import scrapy
from ..items import ZzproItem


class ZzimageSpider(scrapy.Spider):
    name = 'zzImage'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['https://sc.chinaz.com/tupian/']

    def parse(self, response):
        div_list = response.xpath("//*[@id='container']/div")
        for div in div_list:
            # 使用伪属性
            href = div.xpath("./div/a/img/@src2").extract_first()
            href = "https:" + href.replace('_s','')

            item = ZzproItem()
            item['href'] = href
            yield item
  • 在管道文件中自定制一个基于ImagesPipeLine的一个管道类
    • get_media_request() : 发送请求
    • file_path() : 指定图片名称
    • item_completed() : 将item传递给下一个将要执行的管道类
from itemadapter import ItemAdapter
import scrapy
from scrapy.pipelines.images import ImagesPipeline


class ImagePipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        yield scrapy.Request(url=item['href'])

    def file_path(self, request, response=None, info=None):
        imgName = request.url.split('/')[-1]
        return imgName

    def item_completed(self, results, item, info):
        return item  # 返回给下一个即将执行的管道类
  • 在settings中加入图片的存储目录
IMAGES_STORE = './imgs'
  • 指定开启的管道 : 自定制的管道类
ITEM_PIPELINES = {
   'zzPro.pipelines.ImagePipeline': 300,
}