我用python爬取了知乎Top沙雕问题排行榜
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
作者： 数据森麟
这两天偶然上网的时候，被知乎上一个名为“玉皇大帝住在平流层还是对流层”的问题吸引，本以为只是小打小闹，殊不知这个问题却在知乎上引发了强烈共鸣，浏览次数500w+，7000+关注：
数据来源
知乎非常“贴心”地专门有一个问题可以满足我们的需求，出人意料的是这个问题居然有243个回答，并且陶飞同学获得了3w+的赞同
我们从中爬取了所有回答中出现的问题链接，共用400多个问题，其中陶飞就提供了200+，在此向陶飞同学表示感谢，帮助我们构建了“沙雕数据库”，这部分代码如下：
1 import re
2 import selenium
3 from selenium import webdriver
4 import requests
5 from bs4 import beautifulsoup
6 import pandas as pd
7 import time
8
9 driver = webdriver.chrome()
10 driver.maximize_window()
11
12 url = 'https://www.zhihu.com/question/37453271'
13 js='window.open("'+url+'")'
14 driver.execute_script(js)
15 driver.close()
16 driver.switch_to_window(driver.window_handles[0])
17 for i in range(100):
18 js="var q=document.documentelement.scrolltop=10000000"
19 driver.execute_script(js)
20
21 all_html = [k.get_property('innerhtml') for k in driver.find_elements_by_class_name('answeritem')]
22 all_text = ''.join(all_html)
23
24 #all_text = all_text.replace('\u002f','/')
25 all_text = all_text.replace('questions','question')
26 pat = 'question/\d+'
27 questions = list(set([k for k in re.findall(pat,all_text)]))
获得到了问题的对应的编号后，就可以去各自的页面获取各个问题对应的的标题、浏览数等信息，如下图所示：
这部分代码如下：
1 header = {'user-agent': 'mozilla/5.0 (windows nt 10.0; win32; x32; rv:54.0) gecko/20100101 firefox/54.0',
2 'connection': 'keep-alive'}
3 cookies ='v=3; iuuid=1a6e888b4a4b29b16fba1299108dbe9cdcb327a9713c232b36e4db4ff222cf03; webp=true; ci=1%2c%e5%8c%97%e4%ba%ac; __guid=26581345.3954606544145667000.1530879049181.8303; _lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8; _lxsdk=1a6e888b4a4b29b16fba1299108dbe9cdcb327a9713c232b36e4db4ff222cf03; monitor_count=1; _lxsdk_s=16472ee89ec-de2-f91-ed0%7c%7c5; __mta=189118996.1530879050545.1530936763555.1530937843742.18'
4 cookie = {}
5 for line in cookies.split(';'):
6 name, value = cookies.strip().split('=', 1)
7 cookie[name] = value
8
9 questions_df = pd.dataframe(columns = ['title','visit','follower','answer','is_open'])
10
11 for i in range(len(questions)):
12 try:
13 url = 'https://www.zhihu.com/'+questions[i]
14 html = requests.get(url,cookies=cookie, headers=header).content
15 bsobj = beautifulsoup(html.decode('utf-8'),"html.parser")
16 text = str(bsobj)
17 title = bsobj.find('h1',attrs={'class':'questionheader-title'}).text
18 visit = int(re.findall('"visitcount":\d+',text)[0].replace('"visitcount":',''))
19 follower = int(re.findall('"followercount":\d+',text)[0].replace('"followercount":',''))
20 answer = int(re.findall('"answercount":\d+',text)[0].replace('"answercount":',''))
21 is_open = int(len(re.findall('问题已关闭',text))==0)
22 questions_df = questions_df.append({'title':title,'visit':visit,
23 'follower':follower,'answer':answer,
24 'is_open':is_open},ignore_index=true)
25 time.sleep(2)
26 print(i)
27 except:
28 print('错误'+str(i))
数据分析
在分享出最终的“沙雕排行榜”前，我们首先严肃认真（lixinggongshi）的进行一波分析，主要看一下问题中的关键词，首先是所有词云的词云：
看来这些问题大多是源自于大家对于人生的探索，否则“为什么”，“如果”，“怎么办”也不会出现那么多，出人意料的是“体验”这个知乎专属tag居然并不多，可能是出于对知乎的尊重，和“体验”相关的问题都不会问得那么“沙雕”。
下面把这些助词去掉，再来看下结果：
这个图看来，读者关注的问题还是很极端，一方面在关注男女朋友“你冷酷、你无情、你无理取闹”这种问题，另一方面却在关注宇宙、地球这种关乎全人类的问题，很符合知乎“人均985，各个过百万”的人设。
这两个图实际上都是基于一个表情，不知道有没有看出来：
好吧，其实看不出来才是正常，能看出来的可能现在去知乎提个问题，下期就会上榜，最后把部分问题做出词云：
不知道大家能不能看清，说实话我自己是看不清的，也没准备让大家看清，目的就是引出下面真正的排行榜
沙雕问题排行榜
通过综合问题观看数，关注数，回答数，关注占比，回答占比，综合得到分数的流量指数和新奇指数，最终获得一个整体的分数，如下图所示：