欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

Python 爬虫返回403错误解决方法

程序员文章站 2022-03-10 18:48:50
...

问题

抓取数据时,通常调试信息是:

DEBUG: Crawled (200) <GET http://www.php.cn/> (referer: None)

如果出现

DEBUG: Crawled (403) <GET http://www.php.cn/> (referer: None)

表示网站采用了防爬技术anti-web-crawling technique(Amazon所用),比较简单即会检查用户代理(User Agent)信息。

解决方法

在请求头部构造一个User Agent,如下所示:

def start_requests(self):  
    yield Request("http://www.php.cn/",  
                  headers={'User-Agent': "your agent string"})

以上就是Python 爬虫返回403错误解决方法的详细内容,更多请关注其它相关文章!

相关标签: Python,403错误