AttributeError: 'NoneType' object has no attribute 'find_all'
程序员文章站
2024-03-25 11:36:40
...
今日份遇到错误的解决记录:
今天爬取豆瓣Top250个电影的时候,写好代码却报了这个错,一开始认为列表上用了find()方法,换成find_all()之后还是不行,换了别的标签也不行,于是使用print(html.text)
想的把解析之后的网页代码输出看看,结果啥都没有,连源代码都是空的什么都不输出!!!!
最后想查看一下获取网页源码状态:print(res.status_code)
发现了问题所在,一般源码获取成功的话执行状态码是200,这次却是418
!!!
于是查了一下418是代表什么:
原来这里的418是网页服务器的反爬虫程序返回的,意思就我们被该网页服务器的反爬虫程序发现了,并禁止我们爬取,所以下一步就是需要我们模拟浏览器,重新给服务器发送请求,并且添加头等信息headers,headers是解决requests请求反爬的方法之一,相当于我们进去这个网页的服务器本身,假装自己本身在爬取数据。对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站 。
下一步获取并添加这个headers信息:
获取headers信息的步骤:
第一步:找到headers
第二步:找到这个信息之后,把信息添加到代码里面
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36'}
href='https://movie.douban.com/top250?start='+str((i-1)*25)+'&filter='#网页链接URL
res=requests.get(href,headers=headers)
#头等信息
html=res.text
soup=BeautifulSoup(html,'html.parser') #解析网页代码
添加进去头信息之后就解决了禁止爬取的问题了。
我的完整代码:
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36'}
for i in range(1,11):
#因为一页只有25个电影简介,所以需要10页
href='https://movie.douban.com/top250?start='+str((i-1)*25)+'&filter='
res=requests.get(href,headers=headers)
#头等信息
html=res.text
soup=BeautifulSoup(html,'html.parser') #解析网页代码
#需要爬取 序号,电影名,评分,推荐语,链接
movies=soup.find('ol',class_='grid_view').find_all('li')
for movie in movies:
movie_num=movie.find('div',class_='pic').find('em') #电影序号
movie_name=movie.find('div',class_='info').find('span',class_='title') #电影名称
movie_star=movie.find('div',class_='star').find('span',class_='rating_num') #电影评分
movie_recommend=movie.find('p',class_='quote') #电影推荐语
movie_href=movie.find('div',class_='pic').find('a')#电影链接 movie_href['href']
if all([movie_name,movie_href,movie_num,movie_star,movie_recommend]):#表示都不为空
print('排行第'+movie_num.text+'的电影:'+'\n')
print('电影名:'+movie_name.text.strip()+'\t'+'评分:'+movie_star.text)
print('推荐语:'+movie_recommend.text+'\n')
print('链接:'+movie_href['href'])
print('\n'+'******************************'+'\n')
else:
pass
#注释
:
- 获取Top250的时候豆瓣上写用10也显示的,这10页链接是有规律的(n-1)*25
- 当爬取到第245个电影的时候,该电影推荐语是空的,啥都没有,这时候又报了上述错误,就是空类型没有text方法
- 这个时候就需要添加判断语句if,同时判断几个元素的方法https://www.colabug.com/2020/0222/7028890/amp/找到了这个博客,里面有超详细的介绍
if all([movie_name,movie_href,movie_num,movie_star,movie_recommend]): #表示都不为空
运行结果:
最后所有问题都解决了,欧耶!!!!!
作为初学python爬虫的菜鸟,以上问题解决真的花了我很长时间,真的!!!!不过真的学到了东西 , 手动比心
推荐阅读
-
AttributeError: 'NoneType' object has no attribute 'find_all'
-
错误 AttributeError: 'NoneType' object has no attribute 'astype'
-
在Django框架中偶遇报错:AttributeError: ‘str’ object has no attribute ‘decode’解决办法
-
Django 报错:‘AttributeError: ‘str‘ object has no attribute ‘decode‘‘
-
AttributeError: ‘NoneType‘ object has no attribute ‘name‘
-
【已解决】python-pip升级报错- AttributeError: 'NoneType' object has no attribute 'bytes'
-
AttributeError: ‘str‘ object has no attribute ‘decode‘ Python3
-
Django2.2报错::AttributeError: ''str'' object has no attribute ''decode''
-
报错:AttributeError: module 'cv2.cv2' has no attribute 'xfeatures2d'
-
pip 升级问题 'NoneType' object has no attribute 'bytes' 博客分类: python