用Scrapy帮妹子爬取王者皮肤海报~
这篇博客的由来
当然是因为我学习之余,喜欢打打王者上上分 (下面是我王者个人主页,啊还没上过荣耀…)
以及因为,我要学习 Scrapy 的ImagesPipeline,爬图片
绝对不是因为我喜欢带妹儿,
只不过…:
爱打游戏的妹儿最近问我,
“这些(王者)皮肤好好看噢,可惜我没有它们的海报,小哥哥你有吗?”
我心想,皮肤海报,这还不简单?
于是我沉思一会儿,一副好为难的样子。
我说:“这有些许棘手啊,啧,不过你要的话,我可以办得到。”
妹子追问,“那小哥哥是怎么办的呀?”
我笑一笑:“噢,这个你不用担心,你就简单想想我给到你皮肤海报,那你能给到我…”
妹儿笑一笑…
先看一下给妹儿的成品。
爬虫结束后的日志,只爬到了93个items(93个英雄的皮肤,当然皮肤不只93)
以下内容,有一些是翻译的,我会附上文档的英文原文。
一、口水话说说,ImagePipeline
想要边学习scrapy 框架,边学习英文?
想同时提高scrapy框架的掌握程度,和英文阅读水平?
那就有空多看scrapy权威文档(authoritative document)
At first
提到ImagesPipeline 就要先提它的 “本体” ——FilesPipeline。
因为 ImagesPipeline 是 FilesPipeline的一个扩展(extension),The ImagesPipeline is an extension of the FilesPipeline
嗯,就提这么多。
0、一般来说,简单使用ImagesPipeline。
(当然先创建scrapy 项目。)
只需要:
1.启用媒体管道(Enabling your Media Pipeline):
在setting.py中的ITEM_PIPELINES添加'scrapy.pipelines.images.ImagesPipeline': 1
2.配置存储目标地址(configure the target storage)
否则即便完成了第一步也不能启用pipeline
在setting.py中设置 IMAGES_STORE setting:FILES_STORE = '/path/to/valid/dir'
我存到了scrapy project根目录。就是与scrapy.cfg相同的文件夹
3.items.py类的配置
很简单,添两个字段。import scrapy class MyItem(scrapy.Item): # ... other item fields ... image_urls = scrapy.Field() #务必添加的 images = scrapy.Field() # 务必添加的
image_urls ,一个list,存放图片url (http://…jpg/png等)
images,一个RESULT,一个2元素元组的列表
每个元组将包含 (success, file_info_or_error)。
·
下面是results参数的一个典型值:
[(True,
{'checksum': '2b00042f7481c7b056c4b410d28f33cf',
'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
'url': 'http://www.example.com/files/product1.pdf',
'status': 'downloaded'}),
(False,
Failure(...))]
4.写爬虫(spider.py),返回item(图片url列表)
简单使用的时候,存储的图片。
存在一个full目录下,
图片文件名是根据原始url计算SHA1 hash值后进行存储;
大概长这样:
这显然满足不了妹子的需求,人家只想看中文字的图片名
所以要进一步配置setting.py
1.ImagePipeline可以做这样的事情
1.如生成缩略图
generating thumbnails
2.根据大小过滤图像。
filtering the images based on their size.
3.允许重定向 (其实皮肤海报的url是重定向的,但有一个小规律,可以不用重定向)
Allowing redirections
默认情况下(By default),
媒体管道会忽略重定向( ignore redirects,)
例如,一个指向媒体文件URL请求的HTTP重定向将意味着媒体下载失败。
4.当然还可以自己指定文件名、文件夹名
5.避免下载最近下载的文件
指定延迟天数
# 120 days of delay for files expiration
FILES_EXPIRES = 120
# 30 days of delay for images expiration
IMAGES_EXPIRES = 30
2.进一步配置setting.py
我创建的scrapy项目:叫做KingshonerskinPipeline
手快打错了应该是honor,不是honer,
而且呢用glory代替honor,更好
我创建的spider 叫做 skin.py
在setting.py中:
ROBOTSTXT_OBEY = False #首先,一般都不遵循Robot协议
DEFAULT_REQUEST_HEADERS = {
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Accept-Language': 'en',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}
# 默认请求头
ITEM_PIPELINES = {
'kingshonerSkin.pipelines.KingshonerskinPipeline': 300,
# 'scrapy.pipelines.images.ImagesPipeline': 1
}
# 注释了默认的ImagePipeline,
# 同时启用,我自己customize(自己写的)KingshonerskinPipeline
IMAGES_STORE = './王者荣耀皮肤' #我设置的文件存储目录
IMAGES_URLS_FIELD = 'skin_urls' # 我给默认的image_urls 改成了 skin_urls
IMAGES_RESULT_FIELD = 'skin_results' # 我给默认的image 改成了 skin_results
我的setting.py的部分截图
3.我这样写爬虫spider.py
从这里开始爬:
英雄资料列表页-英雄介绍-王者荣耀官方网站-腾讯游戏https://pvp.qq.com/web201605/herolist.shtml
先大概分析。
进入每个英雄的页面后,
我一般在pycharm console 先来交互式的编程
导入requests,Beautiful 来一步一步“进入网页”,爬取信息。
代码有效就复制到spider.py里面
免得一次性写好爬虫文件(spider.py)再来debug,
导入库
直接requests.get(url)
没有加headers或者其他参数,直接在右边看到,Resposne 200了
这网站,没什么反扒
分析:我用select方法定位标签
接着我
for i in soup.select('.herolist-content > ul > li > a'):
print(i.text)
结果print一些乱码出来:我发现是response.encoding的问题。
改一下encoding,就正常显示中文字。
到了这里说明没有页面渲染,每个英雄的url都能拿到
·
接着进入单个英雄,就拿瑶瑶分析吧
https://pvp.qq.com/web201605/herodetail/505.shtml
用select抓一下标签
结果抓了个寂寞,
要么我写错了select,要么网页动态渲染了。
但我向来不会犯这样写错小错误,结果还真是渲染了。
我Refresh了网页,这个url真正html代码:经过一番对比
发现background_url(网页背景皮肤海报的url)是一样的,下面pic-pf标签不一样
·
但真正需要的就是background_url,
·
因为相同英雄的皮肤海报url,就后面的数字在递增
所以到现在,spider.py真正要解决的是
1.每个hero对应的id
2.皮肤的数量和名字
4.上代码(我的item.py/skin.py(我写的爬虫类))
# items.py
import scrapy
class KingshonerskinItem(scrapy.Item):
skin_urls = scrapy.Field() # 必须要有的字段,list,存放皮肤url
skins_name = scrapy.Field() # list,存放皮肤name
skin_results = scrapy.Field() # 必须要有的字段,result 存放...
hero_name = scrapy.Field() # str, 英雄中文名
# spider.py
import scrapy
from bs4 import BeautifulSoup
from scrapy import Request
import re
from kingshonerSkin.items import KingshonerskinItem
class SkinSpider(scrapy.Spider):
name = 'skin'
start_urls = ['https://pvp.qq.com/web201605/herolist.shtml']
def parse(self, response): # 进入每个英雄的皮肤所在页面
soup = BeautifulSoup(response.text,'html.parser')
for i in soup.select('.herolist-content > ul > li > a'):
url_id = re.findall(r'/\d+.shtml',i.get('href'))[0] # 拿到每个英雄对应的id
yield Request(url='https://pvp.qq.com/web201605/herodetail'+url_id, callback=self.parse_skin)
# 按照id,组成每个英雄的url,去yield Request
def parse_skin(self, response):
item = KingshonerskinItem()
soup = BeautifulSoup(response.text, 'html.parser')
skin_id = 'https:' + re.findall(r'//.*.jpg',soup.select_one('.wrapper > div').get('style'))[0].replace('1.jpg','{}.jpg')
# 将background_url 变成通用的
skins_name = soup.select_one('.pic-pf > ul').get('data-imgname').split('|') # 皮肤名字列表
hero_name = soup.select_one('h2.cover-name').text
urls = []
for i in range(len(skins_name)):
skins_name[i] = skins_name[i].split('&')[0] # 清理多余的符号“&3”
urls.append(skin_id.format(i+1))
item['hero_name'] = hero_name
item['skin_urls'] = urls
item['skins_name'] = skins_name
return item
5.写ItemPipeline,(Customize ItemPipeline)
如果简单使用ImagesPipeline
就无需写这个类,
只用:启用’scrapy.pipelines.images.ImagesPipeline’: 1,
甚至不禁用自己写的pipeline.py也可以
ITEM_PIPELINES = {
'kingshonerSkin.pipelines.KingshonerskinPipeline': 300,
'scrapy.pipelines.images.ImagesPipeline': 1
}
当然,我们要处理英雄和皮肤的对应关系。
自己写ItemPipeline.
我先上我的itempipeline.py代码
from scrapy import Request
from scrapy.pipelines.images import ImagesPipeline
class KingshonerskinPipeline(ImagesPipeline):
def file_path(self, request, response=None, info=None, *, item):
skin_num = int(request.url[-5]) - 1 # 海报url和海报名字对应上。
return f'{item["hero_name"]}/{item["skins_name"][skin_num]}.jpg'
def get_media_requests(self, item, info):
# for i in item['skins_name']:
# yield Request(i)
return [Request(i) for i in item['skin_urls']]
二、真正要学习的就是这三个函数了
6.1 file_path(self, request, response=None, info=None, *, item=None)
This method is called once per downloaded item.
It returns the download path of the file originating from the specified
·
这个方法对每个下载的item调用一次。
返回来自指定的文件的下载路径
override this method to customize the download path of each file
覆盖/重写这个函数就可以自定义存储文件(图片)的路径
对于这个函数的几个参数,
1.在我写的pipeline中,item=None的None去掉了。
于是就可以使用我放在item里面的字段(hero_name 、skins_name)
在指定英雄和皮肤的对应关系
def file_path(self, request, response=None, info=None, *, item):
skin_num = int(request.url[-5]) - 1 # 海报url和海报名字对应上。
return f'{item["hero_name"]}/{item["skins_name"][skin_num]}.jpg'
2.我尝试用response.meta去传递(hero_name 、skins_name)
但是失败了。不知道原因出自哪里。
·
3.不知道这个info怎么用
哪天发现了,再加到这里
·
4.request,就相当于request
文档里面给了一用request.url的后缀作为图片名的例子
import os
from urllib.parse import urlparse
from scrapy.pipelines.files import FilesPipeline
class MyFilesPipeline(FilesPipeline):
def file_path(self, request, response=None, info=None, *, item=None):
return 'files/' + os.path.basename(urlparse(request.url).path)
6.2 get_media_requests(item, info)
As seen on the workflow,
the pipeline will get the URLs of the images to download from the item.
return a Request for each file URL:
·
这个函数很简单,就是作为一个 生成器 ,
不断地 return a Request for each file URL:
def get_media_requests(self, item, info):
# for i in item['skins_name']:
# yield Request(i)
return [Request(i) for i in item['skin_urls']]
代码中,注释部分和下面的return是等价的。
Those requests will be processed by the pipeline and,
when they have finished downloading,
the results will be sent to the item_completed() method, as a list of 2-element tuples.
Each tuple will contain (success, file_info_or_error)
·
这些请求将由管道处理,
当它们完成下载后,
结果将作为一个包含2个元素的元组列表发送到
item_completed()方法。
每个元组将包含(success, file_info_or_error)
我就不翻译了。
6.3item_completed(results, item, info)
The ImagesPipeline.item_completed() method is called
when all image requests for a single item have completed
(either finished downloading, or failed for some reason).
·
当单个item的所有图像请求都完成
(或者下载完成,或者由于某些原因失败)时,
将调用ImagesPipeline.item_completed()方法。
we store the downloaded file paths (passed in results) in the file_paths item field,
and we drop the item if it doesn’t contain any files:
·
我们将下载的文件路径(传到result),存储在file_paths 的item字段中,
如果item不包含任何文件,我们就删除它:
下面附一下 文档给的,实现这个方法的an example
from itemadapter import ItemAdapter
from scrapy.exceptions import DropItem
def item_completed(self, results, item, info):
file_paths = [x['path'] for ok, x in results if ok]
if not file_paths:
raise DropItem("Item contains no files")
adapter = ItemAdapter(item)
adapter['file_paths'] = file_paths
return item
result 是一个包含两个元素的元组列表 (a list of 2-element tuples.)
# a typical value of the results argument:
[(True,
{'checksum': '2b00042f7481c7b056c4b410d28f33cf',
'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
'url': 'http://www.example.com/files/product1.pdf',
'status': 'downloaded'}),
(False,
Failure(...))]
我没有覆盖这个item_completed函数,
我在file_paths,写英雄名字和皮肤的对应关系了。
写到这,完工了。
scrapy crawl skin
Enter一下,就跑起来了。
我把爬下的海报给到妹儿,
·
她笑一笑,说"以后要一直和我打游戏上分"
·
真不错
本文地址:https://blog.csdn.net/m0_46156900/article/details/113975300
上一篇: .net 生成拼音码与五笔码实例代码
下一篇: Python简单实现爬取快递物流实时信息