requests+selenium+pyquery+threading实现LOL所有装备图片爬取保存

注意：

1. chrome的chromedriver.exe文件需要和代码放在同一路径下，有了chromedriver才能使用selenium驱动浏览器，根据浏览器版本，在http://npm.taobao.org/mirrors/chromedriver/下载chromedriver
2. 本环境为python3.5版本之后，需要安装好pyquery、selenium、requests模块

   pip install pyquery
   pip install requests
   pip install selenium
   

话不多说，上代码，对应的关键位置我都注释了。

# coding=utf-8
import requests
from threading import Thread
from pyquery import PyQuery as pq
from selenium import webdriver
import time


# 利用pyquery解析网页标签，获取需要的装备名字，以及img src地址
def get():
	driver = webdriver.Chrome()
	driver.get(url)
	driver.implicitly_wait(10)
	doc = pq(driver.page_source)  # 使用selenium加载获取网页的源码，使用requests是无法直接获取得到装备的标签的
	lis = doc("#jSearchItemDiv li")
	for li in lis.items():
		imgsrc = li('img').attr('src')  # 装备图片的url地址
		name = li('p').text()  # 装备的名称
		yield {'imgsrc': imgsrc, 'name': name}
	time.sleep(5)
	driver.close()


# 保存图片到当前路径，需要以‘wb’模式新建文件，写入获取的流数据res.content
def save_pic(data):
	with open(r'.\%s.png' % data.get('name'), 'wb') as f:   # 定义保存格式，装备名+.png
		try:
			res = requests.get(data.get('imgsrc'), headers=headers)
			content = res.content
			f.write(content)
			print('%s 保存完成.....' %  data.get('name'))
		except Exception as e:
			print(e)


# 多线程运行函数，其实用不用多线程都很快，毕竟数据很小
def run():
	datas = get()
	tasks = [Thread(target=save_pic, args=(data, )) for data in datas]
	for t in tasks:
		t.start()
	for t in tasks:
		t.join()


if __name__ == '__main__':
	headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)"}
	url = "https://lol.newyx.net/data/item/"
	run()

最终保存效果：图片太多，只截图部分…

喜欢的新手小伙伴可以拿去玩一下…