欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

爬虫实战——批量爬取小姐姐性感图

程序员文章站 2022-03-10 16:22:01
本次过程仅供学习参考,请遵守相关法律法规。 首先我们分析网站:https://www.mzitu.com/all/ 不难发现,这个页面上包含了大量的图片链接,可以说是特别方便我们爬取图片的,这是件好事。那么我们继续分析 这是第一页的地址 这是第二页的,所以我们爬取的时候只需要在链接后面增加“/num ......

本次过程仅供学习参考,请遵守相关法律法规。

 

首先我们分析网站:https://www.mzitu.com/all/

爬虫实战——批量爬取小姐姐性感图

 

 

 不难发现,这个页面上包含了大量的图片链接,可以说是特别方便我们爬取图片的,这是件好事。那么我们继续分析

 

爬虫实战——批量爬取小姐姐性感图

 

 

 这是第一页的地址

爬虫实战——批量爬取小姐姐性感图

 

 

 这是第二页的,所以我们爬取的时候只需要在链接后面增加“/num”即可

那么我们先来爬取首页的内容

import  requests
import re
#爬取首页
url = 'https://www.mzitu.com/all/'
header = {
    'user-agent': 'mozilla/5.0 (windows nt 10.0; win64; x64; rv:74.0) gecko/20100101 firefox/74.0'
}
response = requests.get(url, headers = header).text
print(response)

我们可以得到以下

爬虫实战——批量爬取小姐姐性感图

 

 

 

 ok 接下来我们需要从中提取我们想要的链接

 

#使用正则表达式提取需要的链接
req = '<br>.*?日: <a href="(.*?)" target="_blank">(.*?)</a>'
urls = re.findall(req,response)
for url,pic_name in urls:
print(url,pic_name)

这样我们就获得了我们需要的链接了

 

爬虫实战——批量爬取小姐姐性感图

 

 

 

那么接来下我们需要知道的是每个链接里面到底有多少页呢

我们进一步分析网页观察页面源码我们可以发现

爬虫实战——批量爬取小姐姐性感图

 

 

 

我们可以从页面中提取到最后一页的内容

req = '<br>.*?日: <a href="(.*?)" target="_blank">(.*?)</a>'
urls = re.findall(req,response)
for url,pic_name in urls:
    print(url,pic_name)
    #获取每个url内的总页面数目
    html = requests.get(url, headers=header).text
    req_last = "<a href='.*?'><span>&laquo;上一组</span></a><span>1</span><a href='.*?'><span>2</span></a><a href='.*?'><span>3</span></a><a href='.*?'><span>4</span></a><span class='dots'>…</span><a href='.*?'><span>(.*?)</span></a><a href='.*?'><span>下一页&raquo;</span></a>      </div>"
    last_num = re.findall(req_last,html)
    print(last_num)
    exit()

 

我们使用正则将所需要的最后一页的页码提取出来即可获得结果

爬虫实战——批量爬取小姐姐性感图

 

 

 那么接下来就是拼接url了

 我们尝试在原本的第一页的url后添加“/1”发现也可以进入我们需要的页面这大大降低了代码量

#将列表转化为int
    for k in last_num:
        k=k
    k = int(k)
    #拼接url
    for i in range(1,k):
        url_pic = url + '/' + str(i)
        print(url_pic)
    exit()

ps:这里的“exit()”是为了方便测试程序只要获得一个主url下的地址即可 后面将会删去

我们可以得到下面的链接

爬虫实战——批量爬取小姐姐性感图

 

 这些链接打开都是有效的但是我们打开的并不直接是图片的url

所以我们还要进一步对信息进行筛选,再优化一下代码

#将列表转化为int
    for k in last_num:
        k=k
    k = int(k)
    #拼接url
    for i in range(1,k):
        url_pic = url + '/' + str(i)

        headerss = {
            'user-agent': '"mozilla/5.0 (windows nt 6.3; wow64) applewebkit/537.36 (khtml, like gecko) chrome/39.0.2171.95 safari/537.36"',

            'referer': url_pic,
            'host': 'www.mzitu.com'
        }

        html_pic_last = requests.get(url_pic, headers=headerss).text
        req_last_pic = '<div class=.*?><p><a href=.*? ><img src="(.*?)" alt=.*? width=.*? height=.*? /></a></p>'
        req_pic_url =  re.findall(req_last_pic,html_pic_last)
        for link in req_pic_url:
            link = link
        links = str(link)
        print(links)
        image_content = requests.get(links, headerss).content
        print(image_content)
        # with open("image/" + pic_name+ str(i) + ".jpg", "wb") as f:

            # f.write(image_content)
        exit()

 

可是经过测试,发现保存下来的图片无法打开,检查发现再最后一步下载图片的时候发生了403错误:服务器拒绝访问爬虫实战——批量爬取小姐姐性感图

 

 我试着换了herder可是还是不行,所以gg了!

 

附上目前为止全部源码

import  requests
import re
#爬取首页
url_head = 'https://www.mzitu.com/all/'
header = {
    'user-agent': 'mozilla/5.0 (windows nt 10.0; win64; x64; rv:74.0) gecko/20100101 firefox/74.0',
    'referer' :'https://www.mzitu.com'
}
response = requests.get(url_head, headers = header).text
#使用正则表达式提取需要的链接
req = '<br>.*?日: <a href="(.*?)" target="_blank">(.*?)</a>'
urls = re.findall(req,response)
for url,pic_name in urls:
    #获取每个url内的总页面数目
    html = requests.get(url, headers=header).text
    req_last = "<a href='.*?'><span>&laquo;上一组</span></a><span>1</span><a href='.*?'><span>2</span></a><a href='.*?'><span>3</span></a><a href='.*?'><span>4</span></a><span class='dots'>…</span><a href='.*?'><span>(.*?)</span></a><a href='.*?'><span>下一页&raquo;</span></a>      </div>"
    last_num = re.findall(req_last,html)
    #将列表转化为int
    for k in last_num:
        k=k
    k = int(k)
    #拼接url
    for i in range(1,k):
        url_pic = url + '/' + str(i)

        headerss = {
            'user-agent': '"mozilla/5.0 (windows nt 6.3; wow64) applewebkit/537.36 (khtml, like gecko) chrome/39.0.2171.95 safari/537.36"',
            'referer': url_pic,        
        }
        html_pic_last = requests.get(url_pic, headers=headerss).text
        req_last_pic = '<div class=.*?><p><a href=.*? ><img src="(.*?)" alt=.*? width=.*? height=.*? /></a></p>'
        req_pic_url =  re.findall(req_last_pic,html_pic_last)
        for link in req_pic_url:
            link = link
        links = str(link)
        print(links)
        image_content = requests.get(links, headerss).content
        print(image_content)
        # with open("image/" + pic_name+ str(i) + ".jpg", "wb") as f:

            # f.write(image_content)
        exit()
    exit()

 分析了一下我的代码 发现

爬虫实战——批量爬取小姐姐性感图

 

 这里的headers没有给出定义,可能因为这个出现了bug 我修改了一下

image_content = requests.get(links, headers = headerss).content

这样测试一下

爬虫实战——批量爬取小姐姐性感图

 

 我们成功了!

完善代码

import  requests
import re
#爬取首页
url_head = 'https://www.mzitu.com/all/'
header = {
    'user-agent': 'mozilla/5.0 (windows nt 10.0; win64; x64; rv:74.0) gecko/20100101 firefox/74.0',
    'referer' :'https://www.mzitu.com'
}


response = requests.get(url_head, headers = header).text


#使用正则表达式提取需要的链接

req = '<br>.*?日: <a href="(.*?)" target="_blank">(.*?)</a>'
urls = re.findall(req,response)
for url,pic_name in urls:

    #获取每个url内的总页面数目
    html = requests.get(url, headers=header).text
    req_last = "<a href='.*?'><span>&laquo;上一组</span></a><span>1</span><a href='.*?'><span>2</span></a><a href='.*?'><span>3</span></a><a href='.*?'><span>4</span></a><span class='dots'>…</span><a href='.*?'><span>(.*?)</span></a><a href='.*?'><span>下一页&raquo;</span></a>      </div>"
    last_num = re.findall(req_last,html)
    #将列表转化为int
    for k in last_num:
        k=k
    k = int(k)
    #拼接url
    for i in range(1,k):
        url_pic = url + '/' + str(i)

        headerss = {
            'user-agent': '"mozilla/5.0 (windows nt 6.3; wow64) applewebkit/537.36 (khtml, like gecko) chrome/39.0.2171.95 safari/537.36"',

            'referer': url_pic

        }

        html_pic_last = requests.get(url_pic, headers=headerss).text
        req_last_pic = '<div class=.*?><p><a href=.*? ><img src="(.*?)" alt=.*? width=.*? height=.*? /></a></p>'
        req_pic_url =  re.findall(req_last_pic,html_pic_last)
        for link in req_pic_url:
            link = link
        links = str(link)
        print(links)
        image_content = requests.get(links, headers = headerss).content
        #保存图片
        with open("image/" + pic_name+ str(i) + ".jpg", "wb") as f:
            f.write(image_content)

 增加一点用户体验后的代码

import  requests
import re
#爬取首页
sum = 0
url_head = 'https://www.mzitu.com/all/'
header = {
    'user-agent': 'mozilla/5.0 (windows nt 10.0; win64; x64; rv:74.0) gecko/20100101 firefox/74.0',
    'referer' :'https://www.mzitu.com'
}


response = requests.get(url_head, headers = header).text


#使用正则表达式提取需要的链接

req = '<br>.*?日: <a href="(.*?)" target="_blank">(.*?)</a>'
urls = re.findall(req,response)
for url,pic_name in urls:

    #获取每个url内的总页面数目
    html = requests.get(url, headers=header).text
    req_last = "<a href='.*?'><span>&laquo;上一组</span></a><span>1</span><a href='.*?'><span>2</span></a><a href='.*?'><span>3</span></a><a href='.*?'><span>4</span></a><span class='dots'>…</span><a href='.*?'><span>(.*?)</span></a><a href='.*?'><span>下一页&raquo;</span></a>      </div>"
    last_num = re.findall(req_last,html)
    #将列表转化为int
    for k in last_num:
        k=k
    k = int(k)
    #拼接url
    for i in range(1,k):
        url_pic = url + '/' + str(i)

        headerss = {
            'user-agent': '"mozilla/5.0 (windows nt 6.3; wow64) applewebkit/537.36 (khtml, like gecko) chrome/39.0.2171.95 safari/537.36"',

            'referer': url_pic

        }

        html_pic_last = requests.get(url_pic, headers=headerss).text
        req_last_pic = '<div class=.*?><p><a href=.*? ><img src="(.*?)" alt=.*? width=.*? height=.*? /></a></p>'
        req_pic_url =  re.findall(req_last_pic,html_pic_last)
        for link in req_pic_url:
            link = link
        links = str(link)
        print('成功下载地址'+links+"的图片")
        sum = sum +1
        image_content = requests.get(links, headers = headerss).content
        #保存图片
        with open("image/" + pic_name+ str(i) + ".jpg", "wb") as f:
            f.write(image_content)
        print("一共下载了"+str(sum)+"张图片")

 

让我们来看看最后的成果吧

 

爬虫实战——批量爬取小姐姐性感图

 

 

 

爬虫实战——批量爬取小姐姐性感图

 

 

本文由作者亲自撰写,如有不足各位大佬提出来,如需转载请标明出处,谢谢