python-快速使用urllib爬取网页(3-超时异常)
程序员文章站
2022-05-03 19:57:20
...
爬虫怕的就是超时,而出现最多的就是超时,这种问题如何解决那?
# coding=utf-8
import urllib.request
for i in range(1,100):
try:
file = urllib.request.urlopen("http://yum.iqianyue.com",timeout=1)
data = file.read()
print(len(data))
except Exception as e:
print("出现异常-->"+str(e))
在timeout内不响应则判断为超时(爬取不成功)
自主设置:file=urllib.request.urlopen(“测试网址”,timeout=测试秒数)
功能:某些网站服务器不好的情况下,我们要把timeout设置的大一点,否则爬出失败。
上一篇: PHP 清空varnish 缓存的详解(包括指定站点下的)
下一篇: 爬虫入门:urllib爬虫实例