欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python-快速使用urllib爬取网页(3-超时异常)

程序员文章站 2022-05-03 19:57:20
...

爬虫怕的就是超时,而出现最多的就是超时,这种问题如何解决那?

# coding=utf-8
import urllib.request

for i in range(1,100):
    try:
        file = urllib.request.urlopen("http://yum.iqianyue.com",timeout=1)
        data = file.read()
        print(len(data))
    except Exception as e:
        print("出现异常-->"+str(e))

在timeout内不响应则判断为超时(爬取不成功)
自主设置:file=urllib.request.urlopen(“测试网址”,timeout=测试秒数)
功能:某些网站服务器不好的情况下,我们要把timeout设置的大一点,否则爬出失败。