爬虫添加请求头headers

有时候的请求网页内容时，会发现无论通过GET，POST以及其他请求方式，都会出现403错误。这种现象多数为服务器拒绝了您的访问，那是因为这些网站为了防止恶意采集信息，所使用的反爬虫设置。此时可以通过模拟浏览器的头部信息来进行访问，这样就能解决以上反爬设置的问题。代码如下：

import requests

url = 'https://www.baidu.com'#创建需要爬取网页的地址
#创建头部信息
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'}
response = requests.get(url, headers=headers)#发送网络请求
print(response.status_code)#打印响应状态码 如果等于200说明请求成功

输出结果：
200