欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

程序员文章站 2022-03-25 16:10:30
9 月 16 日晚间,周董在朋友圈发布了最新单曲《说好不哭》 发布后,真的让一波人哭了 一群想抢鲜听的小伙伴直接泪奔 因为 QQ 音乐直接被搞崩了

9 月 16 日晚间,周董在朋友圈发布了最新单曲《说好不哭》

发布后,真的让一波人哭了

一群想抢鲜听的小伙伴直接泪奔

因为 qq 音乐直接被搞崩了

没想到干翻 qq 音乐的不是网易云音乐

也不是虾米音乐

而是周董!

周董成成功地凭一己之力干翻了 qq 音乐

那么听过周董新歌后的小伙伴都是怎么评价的呢?

这里,我们获取了 qq 音乐的近 20w 条评论数据进行分析

看看其中有哪些有趣的东西

一、数据获取

1、请求分析

在 qq 网页版直接搜索『说好不哭』

很容易就能找到单曲页面

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

拉到页面最下方

可以看到评论的分页查看按钮

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

按下 f12 点击第二页

在请求流中就可以看到对应的请求

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

其中可以看到两个重要参数:pagenumpagesize

将请求 copy 到 postman 中进行测试

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

发现可以直接获取到数据

连 header 都不需要添加

这里尝试对请求参数进行了精简

最终只需要如下几个参数即可

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

从 postman 中可以直接获取到对应的代码

import requests

url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg"

querystring = {"biztype":"1","topid":"237773700","cmd":"8","pagenum":"1","pagesize":"25"}

response = requests.request("get", url, params=querystring)

print(response.text)

这里是单页评论的获取

所有评论的获取只需递增 pagenum 即可

2、数据解析

返回数据中有很多暂时不需要的字段

这里我们只取其中的用户名、评论时间、评论内容、点赞数

对应如下字段

{
    "nick": "丨那壹刻永遠消失\"\"",
    "praisenum": 1,
    "rootcommentcontent": "越听越好听怎么回事!",
    "time": 1568729836,
}

由于数据量较大
这里我们暂时将数据存放在 excel 中

一来无须依赖外部数据库

二来可以使用 excel 对数据进行二次处理

数据存储代码如下:

def file_do(list_info, file_name):
    # 获取文件大小
    if not os.path.exists(file_name):
        wb = openpyxl.workbook()
        page = wb.active
        page.title = 'jay'
        page.append(['昵称','时间','点赞数','评论'])
    else:
        wb = openpyxl.load_workbook(file_name)
        page = wb.active
    for info in list_info:
        try:
            page.append(info)
        except exception:
            print(info)
    wb.save(filename=file_name)

二、数据可视化

1、各时段的评论数

首先我们对评论按小时区间进行汇总

由于时间粒度比较小,这里对时间粒度进行了一些处理

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

周董的新曲是在 9.16 号 23 点准时发布的

可以看出在发布后的一个小时内(23:00-24:00)

评论数量达到了高峰

占了总评论数的一半以上

另外看了一眼 9.16 23 点之前的评论也很有意思

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

一种搬好小板凳嗑着瓜子坐等的既视感

2、大家都在说什么

词云生成的方法有很多

可以用代码生成

也可以用一些在线工具

这里我就使用了在线词云工具:wordart

后续可以给大家单独再普及一下

生成效果如下

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

周杰伦、杰伦字眼很明显

还有大量跑来『打卡』的

『好听』、『来了』、『哭了』、『爱了』

其中少不了的还有『青春』

另外『阿信』的出现估计给了很多人惊喜

3、大家都点赞了哪些评论

我们以点赞数对评论进行了排序

排名靠前的评论是如下一些

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

另外,qq 音乐官方也会放出精彩评论

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

周董新歌搞崩QQ,抓取20W评论看看歌迷在说啥

对比下可以看出和我们获取到的数据是比较一致的

只不过官方并不是按点赞个数进行排名的

看得出来这些排名靠前的大都是在回忆青春

这些评论之所以能够得到大家的共鸣

也许他们的青春里都有一个周杰伦吧