欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python爬虫教程:《利用Python爬取表情包》

程序员文章站 2024-01-12 19:01:40
python爬虫教程:《利用Python爬取表情包》,微信没有表情包?不用愁!老师带领你使用多线程爬虫一键爬取20w的表情包~ ......

python爬虫教程:《利用python爬取表情包》,微信没有表情包?不用愁!老师带领你使用多线程爬虫一键爬取20w的表情包~

python爬虫教程:《利用python爬取表情包》,微信没有表情包?不用愁!老师带领你使用多线程爬虫一键爬取20w的表情包~

python爬虫教程:《利用python爬取表情包》,微信没有表情包?不用愁!老师带领你使用多线程爬虫一键爬取20w的表情包~

python爬虫教程:《利用python爬取表情包》,微信没有表情包?不用愁!老师带领你使用多线程爬虫一键爬取20w的表情包~

项目源码:

 1  
 2 '''
 3 在学习过程中有什么不懂得可以加我的
 4 python学习交流扣扣qun,934109170
 5 群里有不错的学习教程、开发工具与电子书籍。
 6 与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容。
 7 '''
 8 from pyquery import pyquery as pq
 9 import requests
10 from redis import strictredis
11 o=0
12 headers={
13     'user-agent':'mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/58.0.3029.110 safari/537.36 se 2.x metasr 1.0'
14  
15 }
16  
17  
18 def xpan(canshu):
19     try:
20         url = 'https://www.doutula.com/photo/list/?page=' + str(canshu)
21         sp = requests.get(url, headers=headers).text
22  
23         doc=pq(sp)
24         item=doc('.col-xs-6 img').items()
25  
26         for i in item:
27             cu=i.attr('data-original')
28  
29  
30  
31             #r(cu,'f:/斗图的/%s.jpg'%u)
32            # u+=1
33             #print('当前已保存%d张'%u)
34             #print(cu)
35             redis = strictredis(host='172.18.200.5', port=6379, db=1, password='')
36             redis.sadd('斗图网下载图片的url', cu)
37  
38     except exception as e:
39  
40        print('出现错误',e.args)
41 a=int(input('请问你需要爬取多少页呢:'))
42 print('正在爬取链接并保存到redis数据库中请稍等........')
43 for i in range(a):
44  
45    xpan(i+1)
46  
47 redis = strictredis(host='172.18.200.5', port=6379, db=1, password='')
48 redis.srem('斗图网下载图片的url','none')
49 for i in redis.smembers('斗图网下载图片的url'):
50     t=str(i,encoding='utf8')
51     #print(t)
52     r=t.split('/')[-1]
53     dizhi='f:/斗图/'+r
54     req=requests.get(t)
55     with open(dizhi,'wb')as p:
56         p.write(req.content)
57         print('保存完毕 已保存了%d张'%o)
58         o+=1