python爬虫下载百度图片
程序员文章站
2022-07-02 11:04:04
...
首先进入百度图片,这里以卡莎为关键词搜索。F12进入开发者模式,可以看到在我们不滚动的情况下只显示了30张图片,而我们向下滚动拉条时,出现了新的节点,也就是Ajax渲染的。
这时分析节点的url的构造参数,可以看到参数 “queryWord: 卡莎”
正是我们的关键词,tn参数说明是这个网址的一个json文件。rn
是页面显示的图片数。只有一个变化的参数pn,pn为0就是第一次加载的30张图片,pn为30则为第二次加载的30张图片以此类推。pn的变化规律为30*i。因此构造出网址的主要部分:
“https://image.baidu.com/search/acjson?”
参数部分可以利用params参数传入。
def get_page():
url="https://image.baidu.com/search/acjson?"
headers = {
"User-Agent": ''}
params={
"tn":"resultjson_com",
"word":"卡莎",
"ipn":"rj" ,
"pn":0
}
r = requests.get(url,headers=headers,params=params)
return r.text
获取到源代码后可以利用re表达式获取图片网址。json文件中有多个图片的url,我们需要匹配的也就是高清的是"objurl": 所对应的值,因此利用正则表达式,当然也可以用json直接获取。这里有用re
def get_img(html):
url_ls=re.findall('.*?"objURL":"(.*?)"',html,re.S)
for items in range(len(url_ls)):
image=requests.get(url_ls[items])
with open("图片"+str(items+1)+".png","wb") as file:
file.write(image.content)
最后整合一下代码,可以定义一个类,这样可以搜索任何你要所搜的图片。
import requests
import re
import os
import time
import json
class Baidupicture(object):
def __init__(self,keyword):
self.keyword=keyword
def get_dir(self):
os.mkdir(self.keyword)
#这里是在你的工作路径下创建一个文件夹用于存储图片
os.chdir(r"文件夹工作路径")
#这里要将文件夹设置为你的工作路径
def get_page(self,offset):
url="https://image.baidu.com/search/acjson?"
headers = {
"User-Agent": ''}
params={
"tn":"resultjson_com",
"word":self.keyword,
"ipn":"rj" ,
"pn":offset
}
r = requests.get(url,headers=headers,params=params)
return r.text
def get_img(self,html,offset):
#html即为获取的json文件,offset为
url_ls=re.findall('.*?"objURL":"(.*?)"',html,re.S)
for items in range(len(url_ls)):
image=requests.get(url_ls[items])
with open("图片"+str(offset+items+1)+".png","wb") as file:
file.write(image.content)
a=Baidupicture("卡莎")
a.get_dir()
for offset in [x for x in range(61) if x%30==0]:
html=a.get_page(offset)
a.get_img(html,offset)
上一篇: LeetCode每日一题:3.23按摩师(八十一)
下一篇: [python]百度贴吧爬虫