教你用Python爬取哔哩哔哩全站视频信息

哔哩哔哩全站视频信息爬虫(可能会漏爬)

B 站感觉最近几年发展得太快了,不由得想知道有多少视频,翻阅了一大半网络找了很多爬虫感觉都不是特别的复合自己的胃口(挑食~),于是自己写一个(才学习爬虫没多久写得垃圾代码大佬别喷我啊….)

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取****，电子书籍，以及课程的源代码！??¤
QQ群：961562169

开发环境: Windows10 + Python3

工具: VSCode

准备工作

安装

Python3

安装Python这些就麻烦自己百度吧..

依赖

pip3 install -r requirements.txt

运行

python3 bili_video_get.py

代码部分

运行结果截图(出现各种403,或访问权限不足请不要在意)

保存本地结果

思路

通过浏览器打开网页url,打开开发者工具(F12),点击Network,点击JS,刷新(F5),找到 api地址

这里写图片描述

复制下来，去除没必要的内容，得到 https://api.bilibili.com/x/web-interface/archive/stat?aid=15906633 ，用浏览器打开，会得到如下的 json 数据

{ 
"code":0, 
"message":"0", 
"ttl":1, 
"data":{ 
"aid":15666899, 
"view":4422, 
"danmaku":2, 
"reply":12, 
"favorite":28, 
"coin":4, 
"share":48, 
"like":1, 
"now_rank":0, 
"his_rank":0, 
"no_reprint":0, 
"copyright":2 
} 
} 

所以通过 访问 api,得到数据,解析,然后保存到数据库或者保存到本地……我差不多爬了半天左右,出去吃个饭回来看了看,逛了一个某乎,然后电脑就蓝屏了…..数据就没爬完,打算放Linux下爬,由于这个脚本只在Windows10上测试过,在其他环境测试请自己动手改一下保存本地地址……