欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

程序员文章站 2024-01-05 20:35:52
数据量:3,289,329 人。 数据采集工具:分布式 python 爬虫 分析工具:ElasticSearch + Kibana 分析角度:地理位置、男女比例、各类排名、所在高校、活跃程度等。 请各位注意: 以下所有分析结果都基于我抓取到的这300万用户的个人信息,非权威分析,仅供参考。 数据抓取 ......
月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

数据量:3,289,329 人。

数据采集工具:分布式 python 爬虫

分析工具:ElasticSearch + Kibana

分析角度:地理位置、男女比例、各类排名、所在高校、活跃程度等。

请各位注意:

以下所有分析结果都基于我抓取到的这300万用户的个人信息,非权威分析,仅供参考。

数据抓取时间为2017年7月份,用户数据会随着时间推移而变化,所以该报告具有一定时效性。

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

蓝色为男生,红色为女生。具体数据为:

男生:1,202,234 人,占 51.55%。

女生:1,129,874 人,占 48.45%。

知乎用户都是哪里人?

再来看看全国(全球?)都有哪些地方的人在玩知乎:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

由上图可以看到,知乎用户中学生用户占据多数,其它的比如产品经理、程序员、运营、HR数量也不少。我们看一下具体的排名(前十名):

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

由上图可以看到,知乎用户中“学生”的比重独占鳌头,我们把“学生”去掉,来看看正经些的知乎职业排名:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

知乎主流职业的性别分布:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

上面这张饼图的内圈表示各主流职业在前十名中所占的比重,外圈表示该职业从业者中的男女比例,蓝色为男性,红色为女性。我们再用一张直方图来表示:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

看完了知乎各职业的性别分布,我们再用一张热力图来观察知乎主流职业(前五名)在各个地区的分布情况,颜色越深,代表该职业在该地区的人数越多:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

这里我为了展示方便,去掉了产品经理,你只需要知道产品经理在各地人数都是最多的…… 不明白知乎上怎么这么多产品经理,可能是为了方便宣传他们的产品?

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

我们再列出详细的比重排名:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

以上展示的结果不一定准确,可能有很大一部分学生用户没有填写自己的学校。仅从上图可以看出,知乎活跃高校用户从大到小依次是:浙江大学、武汉大学、华中科技大学、中山大学、北京大学、上海交通大学、复旦大学、南京大学、四川大学、清华大学。

既然分析到学校了,我们顺便看看各高校的男女比例,嘿嘿。

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

发现一个有意思的现象,各高校大部分都是男生在玩知乎……

再看一下哪些高校在知乎获得的赞数最多:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

北京玩知乎最多的高校依次是:北京大学、北京邮电大学、中国传媒大学、中国人民大学、清华大学。

上海玩知乎最多的高校依次是:上海交通大学、复旦大学、同济大学、上海大学、上海财经大学。

杭州玩知乎最多的高校依次是:浙江大学、浙江工业大学、杭州电子科技大学、浙江大学,计算机科学、浙江大学,软件工程。浙江大学是重度用户啊……

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

排名依次是:武汉大学、浙江大学、中山大学、华南理工大学、北京大学、华中科技大学、复旦大学、上海交通大学、西北农林科技大学。

好了,高校分析告一段落,我们再来看看知乎用户的各类排名。

知乎赞数最多的100位大V

下图中词云的字越大,表示收到的赞数越多:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

我们再来一张直方图,配合着看:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

张佳玮大大无可争议的获得第一名,360+万赞,恐怖。其次是马前卒、唐缺、vczh、肥肥猫、朱炫、Seasee Youl、ze ran、鬼木知、豆子。知乎获赞总数前五名有两位都是作家(张佳玮和唐缺),看来作家在知乎回答问题获赞方面还是很吃香,果然表达能力是观点获得认可的一个重要支撑 。

知乎关注者最多的100位大V

下图词云的字越大,表示关注者越多,看看有没有你熟悉的大V 呢?:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

同样我们配合着一张直方图来看:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

具体的排名为:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

知乎回答问题数最多的10位大V从大到小依次为:vczh、李东、赵钢、另一只袜子、四海之内、M3小蘑菇、kun yu、白猫转转风、yskin、肛里拉出个电锯。微软的工作貌似很闲,看*哥(vczh)整天刷知乎……

我们再来加上这几位用户在知乎的获得的赞数,看看“回答问题的数量”和“获得的赞数”之间有没有什么联系:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

再来看看他们最多参加过多少场 live:

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 

最多的那个大V竟然参加过 1600+ 场 live,真的很有精力和金钱,哈哈。

月薪30k的资深程序员用Python爬取了知乎百万用户!并数据分析!

 进群:125240963

 

上一篇:

下一篇: