python爬虫[一] 批量下载妹子图
需要了解的知识和工具：
#1 需要了解 python 的基本语法，对这篇文章来说，你只要知道如何操作 list ,for……in……，如何定义函数就够了。网页抓取、分析和保存文件的函数边用边了解。
#2 需要安装第三方库 BeautifulSoup4。使用 pip 安装是很便利的方法。最新版本的 python 自带了pip工具，windows下按 windows+x快捷键，打开命令提示符(管理员)，输入
pip install beautifulsoup4
回车运行
出现 Successfully installed 之类的提示信息就说明安装已完成。
#3 不需要具备html等知识。但查看源代码和查看元素的浏览器还是需要的，如 chrome 和 firefox。
(如果没有 pip ,请自行搜索如何安装 pip.)
一.下载网页
想要下载两千多个网页上的所有图片，首先你要学会下载一个网页 :)。练习下载的网址 url 是：jandan.net/ooxx/page-2397#comments. 使用 chrome 或 firefox浏览器打开后，鼠标右键——查看网页源代码。我们看到的网页，都是浏览器解析这些 使用 html,js,css 等编写的源代码后呈现给我们的。而图片的地址就包含在这些源代码中，那么第一步就是下载这些html代码。
截取了部分代码
使用 python 自带库 urllib.request 来下载网页 。urllib.request 是一个使用多种协议的、用于访问打开 url 的可扩展库。
import urllib.request
url = 'http://jandan.net/ooxx/page-2397#comments'
res = urllib.request.urlopen(url)
urllib.request.urlopen()这个函数是干嘛的呢？ 如它的名字一样，它可以用来打开一个 url 。它既可以接受一个str(我们传的就是)，也可以接受一个 Request对象。这个函数的返回值总是一个可以像 context manager 样工作的对象，并且自带 geturl()、info()、getcode()等方法。
其实我们不用管那么多，只需要记住这个函数可以接受一个网址，然后返回给我们一个包含这个网址所有信息的对象就行了，我们对这个对象进行操作。
现在把 res 对象中的 html代码读出来赋给变量html。使用res.read()方法。
html = res.read()
这时，html中存储的就是 html源代码了！
试着 print(html)
截取了部分代码。
这时你发现结果和鼠标右键——查看网页源代码出现的内容不太一样。原来read()方法的返回值是 n bytes……这是什么鬼？ 好吧，其实我们是可以解析这个返回值并得到图片地址的。但如果你想得到和浏览器中看到的一样的 html 代码，可以将上一行代码改为
html = res.read().decode('utf-8')
然后print(html)
截取了部分代码。
OK！一样了，这是因为 read()的decode('utf-8')可以把read()的返回值以utf-8编码。但我们仍使用 html = res.read(),因为其中同样包含我们需要的信息。
到目前为止我们只用了4行 python 代码，就把网页 http://jandan.net/ooxx/page-2397#comments 的html代码下载并存储到了变量html中。如下：
import urllib.request
#下载网页
url = 'http://jandan.net/ooxx/page-2397#comments'
res = urllib.request.urlopen(url)
html = res.read()
二.解析出地址
下面，使用 beautifulsoup4 对html进行解析。
如何确定某张图片对应的html代码在哪里呢？在该网页上鼠标右键——检查。这时左半屏是原网页，右半屏是html代码和一堆功能按钮。
Elements 左边有个选择箭头，单击一下变为蓝色，再单击左边网页中的图片，就可以看到右边html代码中自动高亮了一部分代码。这部分代码就是这张图片对应的html代码！这个箭头就是用来定位网页中某元素对应的代码的。
仔细看这段代码：
可以看到 src="//wx2.sinaimg.cn/mw600/66b3de17gy1fdrf0wcuscj20p60zktad.jpg"部分 就是这张图片的地址，src 就是 source。src后面的 style则是它的样式，不用管它。这时你可以试验一下，在src前添加http:，访问http://wx2.sinaimg.cn/mw600/66b3de17gy1fdrf0wcuscj20p60zktad.jpg应该就能看到原来的图片了。
所以，src对应的内容就是我们需要的图片链接地址。注意看图片中，src和图片地址链接、style和max-width等是类似于 key-value的对应关系。这与后面提取图片的地址所用的方法有关系。
查看其他图片对应的代码，可以看到它们的格式都是一样的，即都被包含在 <img >中。
使用BeautifulSoup()将html解析。除了传入html，我们还传了一个'html.parser'参数，这表明我们希望 BeautifulSoup()函数按html的解析方式对变量html进行解析。parser是句法分析的意思。
soup = BeautifulSoup(html,'html.parser')
这行代码将html解析成一个soup对象。我们可以很方便地对这个对象进行操作。比如只提取包含'img'的文本内容：
result = soup.find_all('img')
用find_all()方法。
print(result)可以看到result是一个列表，每个元素都是src-图片地址键值对，只不过包含 <img src= />等我们不需要的内容。
截取了部分代码。
使用get方法把双引号中的地址提取出来，并在开头加上 http:。
links=[]
for content in result:
links.append('http:'+content.get('src'))
content.get('src')就是在content中获取键src所对应的值，即双引号中的地址。
links.append()是常见的向列表中添加元素的方法。
print(links)可以看到这个列表里每个元素都是原来双引号中的的图片地址。如下图：
截取了部分代码
使用浏览器打开任何一个地址都能看到相应的图片！YO！这说明我们就差最后一步了，下载它们！
提取地址部分就完成了。代码也是相当的简洁，如下：
#解析网页
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'html.parser')
result = soup.find_all('img')
links=[]
for content in result:
links.append('http:'+content.get('src'))
三.下载图片
最后就是依次访问links中的地址，把图片下载下来！
在开头
import os
先创建photo文件夹存放下载的图片，以下代码会将photo文件夹创建在这个程序.py文件所在的位置。
if not os.path.exists('photo'):
os.makedirs('photo')
我们知道links是个列表，所以最好使用循环来一个一个下载、命名、存放。
i=0
for link in links:
i+=1
filename ='photo\\'+'photo'+str(i)+'.png'
with open(filename,'w') as file:
urllib.request.urlretrieve(link,filename)
i是循环变量，i+=1是控制循环的语句。
filename为图片命名，但其实是先创建一个具有此名称的文件，然后把图片写进去。从filename的赋值语句可以看出，'photo\\'说明它位于photo文件夹，后面的 'photo'+str(i)则是为了有序，全下载完后会是 photo1,photo2,photo3这样的感觉～ '.png'是后缀。用 + 号连接字符串在python中也是常用的做法。
with这两行语句，将 link中的地址指向的图片获取到本地，然后存入 filename 。
open(filename,'w')，打开filename这个文件夹，'w'表示打开方式是 write 写入。也就是说在这里open()接受了两个参数，一个是文件名(文件路径)，一个是打开方式。
urllib.request.urlretrieve(link,filename) 的功能是访问 link 这个链接，然后取回一份拷贝放入 filename中。
3部分都写完后，点击运行！就能在.py文件所在路径发现 photo文件夹，里面全是我们下载的图片啦～
完整代码如下：
import urllib.request
from bs4 import BeautifulSoup
import os
#下载网页
url = 'http://jandan.net/ooxx/page-2397#comments'
res = urllib.request.urlopen(url)
html = res.read()
#解析网页
soup = BeautifulSoup(html,'html.parser')
result = soup.find_all('img')
links=[]
for content in result:
links.append('http:'+content.get('src'))
#下载并存储图片
if not os.path.exists('photo'):
os.makedirs('photo')
i=0
for link in links:
i+=1
filename ='photo\\'+'photo'+str(i)+'.png'
with open(filename,'w') as file:
urllib.request.urlretrieve(link,filename)
这个小程序算是面向过程的写法吧，从上到下，也没有定义函数。这样可能对刚入门的新手更易懂一些。
妹子图的链接
http://jandan.net/ooxx/page-2397#comments 只有中间的数字会在1-2XXX间变化。
url = 'http://jandan.net/ooxx/page-'+str(i)+'#comments'
改变 i 的值就能批量下载了。可是有评论说频繁的访问该网站可能会被封 IP，这点我也不懂，请自行尝试！
以上就是python爬虫[一] 批量下载妹子图的详细内容，更多请关注其它相关文章！