python爬虫脚本在哪里找（分享python爬虫万能代码）

python技术

知乎上有许多关于颜值、身材的话题，有些话题的回复数甚至高达几百上千，拥有成千上万的关注者与被浏览数。如果我们在摸鱼的时候欣赏这些话题将花费大量的时间，可以用 python 制作一个下载知乎回答图片的小脚本，将图片下载到本地。

请求 url 分析

首先打开 f12 控制台面板，看到照片的 url 都是 https://pic4.zhimg.com/80/xxxx.jpg?source=xxx 这种格式的。

滚动知乎页面向下翻页，找到一个带 limit，offset 参数的 url 请求。

检查 response 面板中的内容是否包含了图片的 url 地址，其中图片地址 url 存在 data-original 属性中。

提取图片的 url

从上图可以看出图片的地址存放在 content 属性下的 data-original 属性中。

下面代码将获取图片的地址，并写入文件。

import re
import requests
import os
import urllib.request
import ssl

from urllib.parse import urlsplit
from os.path import basename
import json

ssl._create_default_https_context = ssl._create_unverified_context

headers = {
    'user-agent': "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/89.0.4389.90 safari/537.36",
    'accept-encoding': 'gzip, deflate'
}

def get_image_url(qid, title):
    answers_url = 'https://www.zhihu.com/api/v4/questions/'+str(qid)+'/answers?include=data%5b*%5d.is_normal%2cadmin_closed_comment%2creward_info%2cis_collapsed%2cannotation_action%2cannotation_detail%2ccollapse_reason%2cis_sticky%2ccollapsed_by%2csuggest_edit%2ccomment_count%2ccan_comment%2ccontent%2ceditable_content%2cattachment%2cvoteup_count%2creshipment_settings%2ccomment_permission%2ccreated_time%2cupdated_time%2creview_info%2crelevant_info%2cquestion%2cexcerpt%2cis_labeled%2cpaid_info%2cpaid_info_content%2crelationship.is_authorized%2cis_author%2cvoting%2cis_thanked%2cis_nothelp%2cis_recognized%3bdata%5b*%5d.mark_infos%5b*%5d.url%3bdata%5b*%5d.author.follower_count%2cbadge%5b*%5d.topics%3bdata%5b*%5d.settings.table_of_content.enabled&offset={}&limit=10&sort_by=default&platform=desktop'
    offset = 0
    session = requests.session()

    while true:
        page = session.get(answers_url.format(offset), headers = headers)
        json_text = json.loads(page.text)
        answers = json_text['data']

        offset += 10

        if not answers:
            print('获取图片地址完成')
            return

        pic_re = re.compile('data-original="(.*?)"', re.s)

        for answer in answers:
            tmp_list = []
            pic_urls = re.findall(pic_re, answer['content'])

            for item in pic_urls:  
                # 去掉转移字符 
                pic_url = item.replace("\", "")
                pic_url = pic_url.split('?')[0]

                # 去重复
                if pic_url not in tmp_list:
                    tmp_list.append(pic_url)

            
            for pic_url in tmp_list:
                if pic_url.endswith('r.jpg'):
                    print(pic_url)
                    write_file(title, pic_url)

def write_file(title, pic_url):
    file_name = title + '.txt'

    f = open(file_name, 'a')
    f.write(pic_url + 'n')
    f.close()

示例结果：

下载图片

下面代码将读取文件中的图片地址并下载。

def read_file(title):
    file_name = title + '.txt'

    pic_urls = []

    # 判断文件是否存在
    if not os.path.exists(file_name):
        return pic_urls

    with open(file_name, 'r') as f:
        for line in f:
            url = line.replace("n", "")
            if url not in pic_urls:
                pic_urls.append(url)

    print("文件*有{}个不重复的 url".format(len(pic_urls)))
    return pic_urls

def download_pic(pic_urls, title):

    # 创建文件夹
    if not os.path.exists(title):
        os.makedirs(title)

    error_pic_urls = []
    success_pic_num = 0
    repeat_pic_num = 0

    index = 1

    for url in pic_urls:
        file_name = os.sep.join((title,basename(urlsplit(url)[2])))

        if os.path.exists(file_name):
            print("图片{}已存在".format(file_name))
            index += 1
            repeat_pic_num += 1
            continue

        try:
            urllib.request.urlretrieve(url, file_name)
            success_pic_num += 1
            index += 1
            print("下载{}完成！({}/{})".format(file_name, index, len(pic_urls)))
        except:
            print("下载{}失败！({}/{})".format(file_name, index, len(pic_urls)))
            error_pic_urls.append(url)
            index += 1
            continue
        
    print("图片全部下载完毕！(成功：{}/重复：{}/失败：{})".format(success_pic_num, repeat_pic_num, len(error_pic_urls)))

    if len(error_pic_urls) > 0:
        print('下面打印失败的图片地址')
        for error_url in error_pic_urls:
            print(error_url)

结语

今天的文章用 python 爬虫制作了一个小脚本，如果小伙伴们觉得文章有趣且有用，点个 转发 支持一下吧！