欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

AttributeError: 'NoneType' object has no attribute 'find_all'

程序员文章站 2024-03-25 11:36:40
...

今日份遇到错误的解决记录:
今天爬取豆瓣Top250个电影的时候,写好代码却报了这个错,一开始认为列表上用了find()方法,换成find_all()之后还是不行,换了别的标签也不行,于是使用print(html.text)想的把解析之后的网页代码输出看看,结果啥都没有,连源代码都是空的什么都不输出!!!!

AttributeError: 'NoneType' object has no attribute 'find_all'

最后想查看一下获取网页源码状态:print(res.status_code)
AttributeError: 'NoneType' object has no attribute 'find_all'
发现了问题所在,一般源码获取成功的话执行状态码是200,这次却是418!!!
于是查了一下418是代表什么:

AttributeError: 'NoneType' object has no attribute 'find_all'
执行状态码:418解释(找到了一个介绍比较详细的博客)

原来这里的418是网页服务器的反爬虫程序返回的,意思就我们被该网页服务器的反爬虫程序发现了,并禁止我们爬取,所以下一步就是需要我们模拟浏览器,重新给服务器发送请求,并且添加头等信息headersheaders是解决requests请求反爬的方法之一,相当于我们进去这个网页的服务器本身,假装自己本身在爬取数据。对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站 。

下一步获取并添加这个headers信息:

找到了一个写的超详细的博客【点击字体即可查看】

AttributeError: 'NoneType' object has no attribute 'find_all'

获取headers信息的步骤:

第一步:找到headers

AttributeError: 'NoneType' object has no attribute 'find_all'第二步:找到这个信息之后,把信息添加到代码里面

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36'}
href='https://movie.douban.com/top250?start='+str((i-1)*25)+'&filter='#网页链接URL
res=requests.get(href,headers=headers)
#头等信息
html=res.text
soup=BeautifulSoup(html,'html.parser') #解析网页代码

添加进去头信息之后就解决了禁止爬取的问题了。

我的完整代码:

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36'}

for i in range(1,11):
    #因为一页只有25个电影简介,所以需要10页
    href='https://movie.douban.com/top250?start='+str((i-1)*25)+'&filter='
    res=requests.get(href,headers=headers)
    #头等信息
    html=res.text
    soup=BeautifulSoup(html,'html.parser') #解析网页代码
    #需要爬取 序号,电影名,评分,推荐语,链接
    movies=soup.find('ol',class_='grid_view').find_all('li')
    for movie in movies:
        movie_num=movie.find('div',class_='pic').find('em') #电影序号
        movie_name=movie.find('div',class_='info').find('span',class_='title') #电影名称
        movie_star=movie.find('div',class_='star').find('span',class_='rating_num') #电影评分
        movie_recommend=movie.find('p',class_='quote') #电影推荐语
        movie_href=movie.find('div',class_='pic').find('a')#电影链接 movie_href['href']
        if all([movie_name,movie_href,movie_num,movie_star,movie_recommend]):#表示都不为空
            print('排行第'+movie_num.text+'的电影:'+'\n')
            print('电影名:'+movie_name.text.strip()+'\t'+'评分:'+movie_star.text)
            print('推荐语:'+movie_recommend.text+'\n')
            print('链接:'+movie_href['href'])
            print('\n'+'******************************'+'\n')
        else:
            pass

#注释

  1. 获取Top250的时候豆瓣上写用10也显示的,这10页链接是有规律的(n-1)*25
  2. 当爬取到第245个电影的时候,该电影推荐语是空的,啥都没有,这时候又报了上述错误,就是空类型没有text方法
    AttributeError: 'NoneType' object has no attribute 'find_all'
  3. 这个时候就需要添加判断语句if,同时判断几个元素的方法https://www.colabug.com/2020/0222/7028890/amp/找到了这个博客,里面有超详细的介绍if all([movie_name,movie_href,movie_num,movie_star,movie_recommend]): #表示都不为空

运行结果:
AttributeError: 'NoneType' object has no attribute 'find_all'

最后所有问题都解决了,欧耶!!!!!

作为初学python爬虫的菜鸟,以上问题解决真的花了我很长时间,真的!!!!不过真的学到了东西 , 手动比心

相关标签: Python 学习