欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

python爬虫[一] 批量下载妹子图

程序员文章站 2022-04-05 17:57:58
...
煎蛋网上的妹子图专题有着质量很高的美女图片,今天分享一下用 python 批量下载这些妹子图的方法。

需要了解的知识和工具:

#1 需要了解 python 的基本语法,对这篇文章来说,你只要知道如何操作 list ,for……in……,如何定义函数就够了。网页抓取、分析和保存文件的函数边用边了解。

#2 需要安装第三方库 BeautifulSoup4。使用 pip 安装是很便利的方法。最新版本的 python 自带了pip工具,windows下按 windows+x快捷键,打开命令提示符(管理员),输入

pip install beautifulsoup4

回车运行

python爬虫[一] 批量下载妹子图


出现 Successfully installed 之类的提示信息就说明安装已完成。

#3 不需要具备html等知识。但查看源代码和查看元素的浏览器还是需要的,如 chrome 和 firefox。

(如果没有 pip ,请自行搜索如何安装 pip.)

一.下载网页

想要下载两千多个网页上的所有图片,首先你要学会下载一个网页 :)。练习下载的网址 url 是:jandan.net/ooxx/page-2397#comments. 使用 chrome 或 firefox浏览器打开后,鼠标右键——查看网页源代码。我们看到的网页,都是浏览器解析这些 使用 html,js,css 等编写的源代码后呈现给我们的。而图片的地址就包含在这些源代码中,那么第一步就是下载这些html代码。


python爬虫[一] 批量下载妹子图



python爬虫[一] 批量下载妹子图


截取了部分代码

使用 python 自带库 urllib.request 来下载网页 。urllib.request 是一个使用多种协议的、用于访问打开 url 的可扩展库。

import urllib.request

url = 'http://jandan.net/ooxx/page-2397#comments'

res = urllib.request.urlopen(url)

urllib.request.urlopen()这个函数是干嘛的呢? 如它的名字一样,它可以用来打开一个 url 。它既可以接受一个str(我们传的就是),也可以接受一个 Request对象。这个函数的返回值总是一个可以像 context manager 样工作的对象,并且自带 geturl()、info()、getcode()等方法。

其实我们不用管那么多,只需要记住这个函数可以接受一个网址,然后返回给我们一个包含这个网址所有信息的对象就行了,我们对这个对象进行操作。


现在把 res 对象中的 html代码读出来赋给变量html。使用res.read()方法。

html = res.read()

这时,html中存储的就是 html源代码了!

试着 print(html)


python爬虫[一] 批量下载妹子图


截取了部分代码。

这时你发现结果和鼠标右键——查看网页源代码出现的内容不太一样。原来read()方法的返回值是 n bytes……这是什么鬼? 好吧,其实我们是可以解析这个返回值并得到图片地址的。但如果你想得到和浏览器中看到的一样的 html 代码,可以将上一行代码改为

html = res.read().decode('utf-8')

然后print(html)


python爬虫[一] 批量下载妹子图


截取了部分代码。

OK!一样了,这是因为 read()的decode('utf-8')可以把read()的返回值以utf-8编码。但我们仍使用 html = res.read(),因为其中同样包含我们需要的信息。

到目前为止我们只用了4行 python 代码,就把网页 http://jandan.net/ooxx/page-2397#comments 的html代码下载并存储到了变量html中。如下:

import urllib.request

#下载网页

url = 'http://jandan.net/ooxx/page-2397#comments'

res = urllib.request.urlopen(url)

html = res.read()

二.解析出地址

下面,使用 beautifulsoup4 对html进行解析。

如何确定某张图片对应的html代码在哪里呢?在该网页上鼠标右键——检查。这时左半屏是原网页,右半屏是html代码和一堆功能按钮


python爬虫[一] 批量下载妹子图


Elements 左边有个选择箭头,单击一下变为蓝色,再单击左边网页中的图片,就可以看到右边html代码中自动高亮了一部分代码。这部分代码就是这张图片对应的html代码!这个箭头就是用来定位网页中某元素对应的代码的。


python爬虫[一] 批量下载妹子图


仔细看这段代码:

可以看到 src="//wx2.sinaimg.cn/mw600/66b3de17gy1fdrf0wcuscj20p60zktad.jpg"部分 就是这张图片的地址,src 就是 source。src后面的 style则是它的样式,不用管它。这时你可以试验一下,在src前添加http:,访问http://wx2.sinaimg.cn/mw600/66b3de17gy1fdrf0wcuscj20p60zktad.jpg应该就能看到原来的图片了。


所以,src对应的内容就是我们需要的图片链接地址。注意看图片中,src和图片地址链接、style和max-width等是类似于 key-value的对应关系。这与后面提取图片的地址所用的方法有关系。

查看其他图片对应的代码,可以看到它们的格式都是一样的,即都被包含在 <img >中。

使用BeautifulSoup()将html解析。除了传入html,我们还传了一个'html.parser'参数,这表明我们希望 BeautifulSoup()函数按html的解析方式对变量html进行解析。parser是句法分析的意思。

soup = BeautifulSoup(html,'html.parser')

这行代码将html解析成一个soup对象。我们可以很方便地对这个对象进行操作。比如只提取包含'img'的文本内容:

result = soup.find_all('img')

用find_all()方法。

print(result)可以看到result是一个列表,每个元素都是src-图片地址键值对,只不过包含 <img src= />等我们不需要的内容。


python爬虫[一] 批量下载妹子图


截取了部分代码。

使用get方法把双引号中的地址提取出来,并在开头加上 http:。

links=[]

for content in result:

links.append('http:'+content.get('src'))

content.get('src')就是在content中获取键src所对应的值,即双引号中的地址。

links.append()是常见的向列表中添加元素的方法。

print(links)可以看到这个列表里每个元素都是原来双引号中的的图片地址。如下图:


python爬虫[一] 批量下载妹子图


截取了部分代码

使用浏览器打开任何一个地址都能看到相应的图片!YO!这说明我们就差最后一步了,下载它们!

提取地址部分就完成了。代码也是相当的简洁,如下:

#解析网页

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'html.parser')

result = soup.find_all('img')

links=[]

for content in result:

links.append('http:'+content.get('src'))

三.下载图片

最后就是依次访问links中的地址,把图片下载下来!

在开头

import os

先创建photo文件夹存放下载的图片,以下代码会将photo文件夹创建在这个程序.py文件所在的位置。

if not os.path.exists('photo'):

os.makedirs('photo')

我们知道links是个列表,所以最好使用循环来一个一个下载、命名、存放。



i=0

for link in links:

i+=1

filename ='photo\\'+'photo'+str(i)+'.png'

with open(filename,'w') as file:

urllib.request.urlretrieve(link,filename)

i是循环变量,i+=1是控制循环的语句。

filename为图片命名,但其实是先创建一个具有此名称的文件,然后把图片写进去。从filename的赋值语句可以看出,'photo\\'说明它位于photo文件夹,后面的 'photo'+str(i)则是为了有序,全下载完后会是 photo1,photo2,photo3这样的感觉~ '.png'是后缀。用 + 号连接字符串在python中也是常用的做法。

with这两行语句,将 link中的地址指向的图片获取到本地,然后存入 filename 。

open(filename,'w'),打开filename这个文件夹,'w'表示打开方式是 write 写入。也就是说在这里open()接受了两个参数,一个是文件名(文件路径),一个是打开方式。

urllib.request.urlretrieve(link,filename) 的功能是访问 link 这个链接,然后取回一份拷贝放入 filename中。

3部分都写完后,点击运行!就能在.py文件所在路径发现 photo文件夹,里面全是我们下载的图片啦~


python爬虫[一] 批量下载妹子图


完整代码如下:

import urllib.request

from bs4 import BeautifulSoup

import os

#下载网页

url = 'http://jandan.net/ooxx/page-2397#comments'

res = urllib.request.urlopen(url)

html = res.read()

#解析网页

soup = BeautifulSoup(html,'html.parser')

result = soup.find_all('img')

links=[]

for content in result:

links.append('http:'+content.get('src'))

#下载并存储图片

if not os.path.exists('photo'):

os.makedirs('photo')

i=0

for link in links:

i+=1

filename ='photo\\'+'photo'+str(i)+'.png'

with open(filename,'w') as file:

urllib.request.urlretrieve(link,filename)

这个小程序算是面向过程的写法吧,从上到下,也没有定义函数。这样可能对刚入门的新手更易懂一些。

妹子图的链接

http://jandan.net/ooxx/page-2397#comments 只有中间的数字会在1-2XXX间变化。

url = 'http://jandan.net/ooxx/page-'+str(i)+'#comments'

改变 i 的值就能批量下载了。可是有评论说频繁的访问该网站可能会被封 IP,这点我也不懂,请自行尝试!

以上就是python爬虫[一] 批量下载妹子图的详细内容,更多请关注其它相关文章!

相关标签: python 爬虫