爬虫 - Scrapy图片爬取
程序员文章站
2022-05-09 22:50:44
...
文章目录
一、ImagePipeline
ImagePipeline是一个管道类
只需要将img的src的属性值进行解析, 提交到管道, 管道就会对图片的src进行请求发送获取二进制数据并进行持久化存储
二、使用步骤
需求 : 爬取素材的图片
1.使用步骤
- 数据解析
- 将存储图片地址的item提交到指定的管道类
import scrapy
from ..items import ZzproItem
class ZzimageSpider(scrapy.Spider):
name = 'zzImage'
# allowed_domains = ['www.xxx.com']
start_urls = ['https://sc.chinaz.com/tupian/']
def parse(self, response):
div_list = response.xpath("//*[@id='container']/div")
for div in div_list:
# 使用伪属性
href = div.xpath("./div/a/img/@src2").extract_first()
href = "https:" + href.replace('_s','')
item = ZzproItem()
item['href'] = href
yield item
- 在管道文件中自定制一个基于ImagesPipeLine的一个管道类
- get_media_request() : 发送请求
- file_path() : 指定图片名称
- item_completed() : 将item传递给下一个将要执行的管道类
from itemadapter import ItemAdapter
import scrapy
from scrapy.pipelines.images import ImagesPipeline
class ImagePipeline(ImagesPipeline):
def get_media_requests(self, item, info):
yield scrapy.Request(url=item['href'])
def file_path(self, request, response=None, info=None):
imgName = request.url.split('/')[-1]
return imgName
def item_completed(self, results, item, info):
return item # 返回给下一个即将执行的管道类
- 在settings中加入图片的存储目录
IMAGES_STORE = './imgs'
- 指定开启的管道 : 自定制的管道类
ITEM_PIPELINES = {
'zzPro.pipelines.ImagePipeline': 300,
}