欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

几个非常适合练手的python爬虫项目,总有一个能搞定!

程序员文章站 2022-03-21 17:31:55
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者:Python玩家 注意:如果你平时学Python有问题找不到人解答,可以点我进裙里面有大佬解答,裙文件也有最新Python教程,希望能帮助到你!话不多说,直接干货了! 头条 ......

 

前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者:python玩家

几个非常适合练手的python爬虫项目,总有一个能搞定!

注意:如果你平时学python有问题找不到人解答,可以里面有大佬解答,裙文件也有最新python教程,希望能帮助到你!
话不多说,直接干货了!

头条图集:抓包获取json数据 
打开今日头条主页,搜索小姐姐,或者其他你感兴趣的内容,然后点击图集

几个非常适合练手的python爬虫项目,总有一个能搞定!

动态加载的json数据就出来了,没有反爬,注意的是,如果不想去内容里面抓图片的话,可以只抓缩略图,就是这个页面显示的图片,它在json数据中的image_list中,注意,将url中的list换成origin,就是大图哦!代码如下

几个非常适合练手的python爬虫项目,总有一个能搞定! 
所有的图片地址都出来了!,注意:如果你平时学python有问题找不到人解答,可以里面有大佬解答,裙文件也有最新python教程,希望能帮助到你!

全书网:直接源码匹配重点内容相关内容 
直接搜索全书网,打开主页,随便找一篇小说,比如《盗墓笔记》,点击后跳转到网页,在点击开始阅读,出现了所有章节,在进入章节就出现了小说内容,网页内容和代码如下:

几个非常适合练手的python爬虫项目,总有一个能搞定!

几个非常适合练手的python爬虫项目,总有一个能搞定!

80电子书:匹配到地址直接下载压缩文件 
80电子书网和上面的全书网比较类似,但是它本身提供有下载功能,可以直接用小说id和名字直接构建下载文件,页面截图和代码:

几个非常适合练手的python爬虫项目,总有一个能搞定!

几个非常适合练手的python爬虫项目,总有一个能搞定! 
python学习交流群542110741 
几个非常适合练手的python爬虫项目,总有一个能搞定! 
其他类似网站

类似的网站还有:妹子图网、美桌网、笔趣阁、久久等等甚至百度图片也可以用抓包获取数据的!

以上代码都是随手写的,没有排版,大家有兴趣可以自己排下版,或者比如小说网站,可以先抓取大类别,然后在每一个类别中获取所有小说,最后在把所有小说的内容抓出来,这样就是全站爬虫了!!!

几个非常适合练手的python爬虫项目,总有一个能搞定!

如果大家还有什么适合的网站,希望能在评论区里共享下哦!大家一起交流下!