多线程这么牛逼的东西，你不会？那你玩个屁的爬虫！一定带你入门

今天以58同城的二手市场为例（也就是转转）给大家介绍一下大规模的结构数据怎么爬取。

分析

先看下转转的网页结构与我想爬取的数据：

 

类目

 

物品页

 

 

 

爬取类目链接比较简单，在这里就不多讲，然后把爬取的类目链接赋值给channel_list变量（具体原因见下面说明）

page_spider.py

 

 

main.py

 

这就是多进程了！！！用法简单，不多说

结果

为了方便看爬取情况，又建立了一个counts.py

 

 

结果

get到了吗！进群：125240963  即可获取数十套PDF哦！