欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

程序员文章站 2022-05-04 13:13:14
今天以58同城的二手市场为例(也就是转转)给大家介绍一下大规模的结构数据怎么爬取。 分析 先看下转转的网页结构与我想爬取的数据: 类目 物品页 爬取类目链接比较简单,在这里就不多讲,然后把爬取的类目链接赋值给channel_list变量(具体原因见下面说明) page_spider.py main. ......

今天以58同城的二手市场为例(也就是转转)给大家介绍一下大规模的结构数据怎么爬取。

分析

先看下转转的网页结构与我想爬取的数据:

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

类目

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

物品页

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

爬取类目链接比较简单,在这里就不多讲,然后把爬取的类目链接赋值给channel_list变量(具体原因见下面说明)

page_spider.py

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

main.py

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

这就是多进程了!!!用法简单,不多说

结果

为了方便看爬取情况,又建立了一个counts.py

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门

 

结果

get到了吗!进群:125240963  即可获取数十套PDF哦!

多线程这么牛逼的东西,你不会?那你玩个屁的爬虫!一定带你入门