php爬虫：百万级别知乎用户数据爬取与分析

php爬虫：百万级别知乎用户数据爬取与分析

代码托管地址：https://http://www.php.cn/hhqcontinue/zhihuSpider

文/Hector

这次抓取了110

万的用户数据，数据分析结果如下：

开发前的准备

安装linux系统(Ubuntu14.04)，在VMWare虚拟机下安装一个Ubuntu;

安装PHP5.6或以上版本;

安装curl、pcntl扩展。

使用PHP的curl扩展抓取页面数据

PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。

本程序是抓取知乎的用户数据，要能访问用户个人页面，需要用户登录后的才能访问。当我们在浏览器的页面中点击一个用户头像链接进入用户个人中心页面的时候，之所以能够看到用户的信息，是因为在点击链接的时候，浏览器帮你将本地的cookie带上一齐提交到新的页面，所以你就能进入到用户的个人中心页面。因此实现访问个人页面之前需要先获得用户的cookie信息，然后在每次