欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python对QQ音乐进行爬取并进行数据分析

程序员文章站 2022-03-04 18:20:09
三方包引入 使用到了以下包: 爬虫 scrapy 网络测试 requests 数据分析 numpy和pandas 绘图 matplotlib和wordcloud 爬取数据 打开QQ音乐网页版的分类歌单界面,乍一看,一分析网页源码,看到下图: 那么看来它就是使用动态填充的,那么它肯定就调用了接口,请求 ......
Python对QQ音乐进行爬取并进行数据分析

 

三方包引入

使用到了以下包:

  • 爬虫 scrapy
  • 网络测试 requests
  • 数据分析 numpy和pandas
  • 绘图 matplotlib和wordcloud
pip install scrapypip install requestspip install numpypip install pandaspip install matplotlibpip install wordcloud

爬取数据

打开QQ音乐网页版的分类歌单界面,乍一看,一分析网页源码,看到下图:

Python对QQ音乐进行爬取并进行数据分析

 

那么看来它就是使用动态填充的,那么它肯定就调用了接口,请求数据,那么就去找,在检查里的network中找啊找,最终找到了它:

Python对QQ音乐进行爬取并进行数据分析

 Python对QQ音乐进行爬取并进行数据分析

Python对QQ音乐进行爬取并进行数据分析

 

然后写上代码,经过调试,终于成功了。

最后我把它保存成一个csv文件,通过播放量排序,截取前20,得到了下图

Python对QQ音乐进行爬取并进行数据分析

 

分析数据

对于这个数据的处理,就用到了numpy和pandas以及matplotlib。经过分析得出下图结果:

播放次数分析

Python对QQ音乐进行爬取并进行数据分析

 

标签分析

Python对QQ音乐进行爬取并进行数据分析

 

github地址:

https://github.com/arvinljw/SpiderNet/blob/master/qqmusic/qqmusic/spiders/qqmusic.py