欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python-快速使用urllib爬取网页(8-URLError)

程序员文章站 2022-05-03 20:06:03
...

程序的执行难免遇到异常,发生异常不要紧,关键是要合理处理异常

在Python爬虫中,经常要处理与URL相关的异常
使用URL异常处理-URLError类进行处理
导入urllib.error模块

本节我们主要介绍两个类:URLError + HTTPError

import urllib.request
import urllib.error

try:
    urllib.request.urlopen("http://blog.****.net")
except urllib.error.URLError as e:
    print(e.code)
    print(e.reason)

运行上述代码,出现403错误

产生URLError错误的原因:
a、连不上服务器
b、远程URL不存在
c、无网络
d、出发了HTTPError
上面例子就是触犯了HTTPError所导致

403是状态码

我们来总结一下各种状态码的含义
200 OK 一切正常
301 Moved Permanently 重定向到新的URL,永久性
302 Found 重定向到临时的URL,非永久性
304 Not Modified 请求的资源未更新
400 Bad Request 非法请求
401 Unauthorized 请求未经授期
403 Forfidden 禁止访问
404 Not Found 没有找到对应的页面
500 Internal Server Error 服务器内部出现错误
501 Not Implemented 服务器不支持实现请求所需要的功能