Python爬虫实践,获取百度贴吧内容
经过前期大量的学习与准备,我们重要要开始写第一个真正意义上的爬虫了。本次我们要爬取的网站是:百度贴吧,一个非常适合新人练手的地方,那么让我们开始吧。
本次要爬的贴吧是<< 西部世界 >>,西部世界是我一直很喜欢的一部美剧,平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。注意:很多人学python过程中会遇到各种烦恼问题,没有人解答容易放弃。为此小编建了个python全栈免费解答.裙 :一久武其而而流一思(数字的谐音)转换下可以找到了,不懂的问题有老司机解决里面还有免非最新python教程下载,,一起相互监督共同进步!
贴吧地址 :
https://tieba.baidu.com/f?kw=%e8%a5%bf%e9%83%a8%e4%b8%96%e7%95%8c&ie=utf-8
python版本 : 3.6
浏览器版本: chrome
目标分析:
由于是第一个实验性质爬虫,我们要做的不多,我们需要做的就是:
1、从网上爬下特定页码的网页
2、对于爬下的页面内容进行简单的筛选分析
3、找到每一篇帖子的 标题、发帖人、日期、楼层、以及跳转链接
4、将结果保存到文本。
前期准备:
看到贴吧的url地址是不是觉得很乱?有那一大串认不得的字符?
其实这些都是中文字符,
%e8%a5%bf%e9%83%a8%e4%b8%96%e7%95%8c
在编码之后就是: 西部世界。
链接的末尾处:&ie=utf-8 表示该连接采用的是utf-8编码。
windows的默认编码是gbk,在处理这个连接的时候,需要我们在python里手动设置一下,才能够成功使用。
python3相对于python2对于编码的支持有了很大的提升,默认全局采用utf-8编码,所以建议还在学python2的小伙伴赶紧投入python3的怀抱,真的省了老大的功夫了。
接着我们翻到贴吧的第二页:
url:
`url: https://tieba.baidu.com/f?kw=%e8%a5%bf%e9%83%a8%e4%b8%96%e7%95%8c&ie=utf-8&pn=50`
注意到没有,连接的末尾处多了一个参数&pn=50,
这里我们很容易就能猜到,这个参数的与页码的联系:
- &pn=0 : 首页
- &pn=50: 第二页
- &pn=100:第三页
- &pn=50*n 第n页
- 50 表示 每一页都有50篇帖子。
这下我们就能通过简单的url修改,达到翻页的效果了。
chrome开发人员工具的使用:
要写爬虫,我们一定要会使用开发工具,说起来这个工具是给前段开发人员用的,但是我们可以通过它快速定位我们要爬取的信息,并找到相对应的规律。
- 按cmmand+option+i 打开chrome工具,(win可以看按f12或者手动在chrome工具栏里打开)
- 使用模拟点击工具快速定位到一个单独帖子的位置。(左上角的鼠标箭头图标)
我们仔细的观察一下,发现每个帖子的内容都包裹在一个li标签内:
<li class=" j_thread_list clearfix">
这样我们只要快速找出所有的符合规则的标签,
在进一步分析里面的内容,最后筛选出数据就可以了。
开始写代码吧?
我们先写出抓取页面内人的函数:
这是前面介绍过的爬取框架,以后我们会经常用到。
import requests from bs4 import beautifulsoup # 首先我们写好抓取网页的函数 def get_html(url): try: r = requests.get(url,timeout=30) r.raise_for_status() #这里我们知道百度贴吧的编码是utf-8,所以手动设置的。爬去其他的页面时建议使用: # r.endcodding = r.apparent_endconding r.encoding='utf-8' return r.text except: return " error "
接着我们摘取其中的详细信息:
- 我们来分一下每一个li标签内部的结构:
一个大的li标签内包裹着很多个 div标签
而我们要的信息就在这一个个div标签之内:
# 标题&帖子链接 <a rel="noreferrer" href="/p/5803134498" title="【高淸】西部世界1-2季,中英字,未❗️删❕减.
相关文章:
-
-
2020Python作业九——函数的基本应用 @2020.3.17 利用函数,改写功能 # 1、编写文件修改功能,调用函数时,传入三个参数(修改的文件路... [阅读全文]
-
<!DOCTYPE html> <html> <head> <meta charset="utf-8... [阅读全文]
-
css3相较于css2.1增加了许多新的特性功能,目前主流浏览器chrome、safari、firefox、opera、甚至360都已经支持了CSS3大... [阅读全文]
-
vue-苟曰的老板不发工资230行原创js代码写个扫雷小游戏
上gif: 1.开局提示动画 2.游戏中状态提示 3.开挂模式提示 4.计时器 5.游戏模式扫雷成功,蓝色进度条表示当次扫雷的完成度 6.若当次时间小于... [阅读全文] -
spark streaming连接kafka引发"partition.assignment.strategy"异常处理
服务器运行环境:spark 2.4.4 + scall 2.11.12 + kafka 2.2.2 由于业务相对简单,kafka只有固定top... [阅读全文] -
版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。
上一篇: 爬虫之requests进阶
发表评论