欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python爬虫下载百度图片

程序员文章站 2022-07-02 11:04:04
...

首先进入百度图片,这里以卡莎为关键词搜索。F12进入开发者模式,可以看到在我们不滚动的情况下只显示了30张图片,而我们向下滚动拉条时,出现了新的节点,也就是Ajax渲染的。python爬虫下载百度图片
python爬虫下载百度图片
这时分析节点的url的构造参数,可以看到参数 “queryWord: 卡莎”
正是我们的关键词,tn参数说明是这个网址的一个json文件。rn
是页面显示的图片数。只有一个变化的参数pn,pn为0就是第一次加载的30张图片,pn为30则为第二次加载的30张图片以此类推。pn的变化规律为30*i。因此构造出网址的主要部分:
“https://image.baidu.com/search/acjson?”
参数部分可以利用params参数传入。

def get_page():
    url="https://image.baidu.com/search/acjson?"
    headers = {
                "User-Agent": ''}
    params={
        "tn":"resultjson_com",
        "word":"卡莎",
        "ipn":"rj" ,
        "pn":0       
        }
    r = requests.get(url,headers=headers,params=params)
    return r.text

获取到源代码后可以利用re表达式获取图片网址。json文件中有多个图片的url,我们需要匹配的也就是高清的是"objurl": 所对应的值,因此利用正则表达式,当然也可以用json直接获取。这里有用re

def get_img(html):
    url_ls=re.findall('.*?"objURL":"(.*?)"',html,re.S)
    for items in range(len(url_ls)):
        image=requests.get(url_ls[items])
        with open("图片"+str(items+1)+".png","wb") as file:
            file.write(image.content)

最后整合一下代码,可以定义一个类,这样可以搜索任何你要所搜的图片。

import requests
import re
import os
import time
import json
class Baidupicture(object):
    
    def __init__(self,keyword):
        self.keyword=keyword
    
    def get_dir(self):
        os.mkdir(self.keyword)
        #这里是在你的工作路径下创建一个文件夹用于存储图片   
    	os.chdir(r"文件夹工作路径")
    	#这里要将文件夹设置为你的工作路径
    def get_page(self,offset):
	    url="https://image.baidu.com/search/acjson?"
	    headers = {
	                "User-Agent": ''}
	    params={
	        "tn":"resultjson_com",
	        "word":self.keyword,
	        "ipn":"rj"  ,
	        "pn":offset      
	        }
	    r = requests.get(url,headers=headers,params=params)
	    return r.text
    
    def get_img(self,html,offset):
    	#html即为获取的json文件,offset为
        url_ls=re.findall('.*?"objURL":"(.*?)"',html,re.S)
        for items in range(len(url_ls)):
            image=requests.get(url_ls[items])
            with open("图片"+str(offset+items+1)+".png","wb") as file:
                file.write(image.content)
a=Baidupicture("卡莎")
a.get_dir()
for offset in [x for x in range(61) if x%30==0]:
    html=a.get_page(offset)
    a.get_img(html,offset)