php爬虫：百万级别知乎用户数据爬取与分析

代码托管地址：

文/hector

这次抓取了110万的用户数据，数据分析结果如下：

 

开发前的准备

安装linux系统(ubuntu14.04)，在vmware虚拟机下安装一个ubuntu;

安装php5.6或以上版本;

安装curl、pcntl扩展。

使用php的curl扩展抓取页面数据

php的curl扩展是php支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。

本程序是抓取知乎的用户数据，要能访问用户个人页面，需要用户登录后的才能访问。当我们在浏览器的页面中点击一个用户头像链接进入用户个人中心页面的时候，之所以能够看到用户的信息，是因为在点击链接的时候，浏览器帮你将本地的cookie带上一齐提交到新的页面，所以你就能进入到用户的个人中心页面。因此实现访问个人页面之前需要先获得用户的cookie信息，然后在每次curl请求的时候带上cookie信息。在获取cookie信息方面，我是用了自己的cookie，在页面中可以看到自己的cookie信息：

 

一个个地复制，以"__utma=?;__utmb=?;"这样的形式组成一个cookie字符串。接下来就可以使用该cookie字符串来发送请求。

初始的示例：