欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

深圳租房信息爬虫

程序员文章站 2023-11-16 11:30:16
考虑到以后可能会在深圳工作,所以写了这个爬虫,希望对自己的找房过程提供一些便捷。 信息来源是豆瓣的深圳租房小组(想爬取其他城市只需要更换一下URL就好)。 你们一定会说这么麻烦干什么,租房APP不是直接看么?我也是这么想的。。。但是租房APP上中介比较多,豆瓣上多是个人房源,中介少,比较可靠。但豆瓣 ......

考虑到以后可能会在深圳工作,所以写了这个爬虫,希望对自己的找房过程提供一些便捷。

信息来源是豆瓣的深圳租房小组(想爬取其他城市只需要更换一下url就好)。

你们一定会说这么麻烦干什么,租房app不是直接看么?我也是这么想的。。。但是租房app上中介比较多,豆瓣上多是个人房源,中介少,比较可靠。但豆瓣app没有筛选功能,只是相当于百度贴吧一样的浏览界面。

所以我提供了价格筛选功能,目前设定的是2000/月。

我把它按标题,帖子链接,正文的顺序保存在txt文件下,便于分享。

以下是效果图↓

深圳租房信息爬虫

因为有些帖子的正文没有内容,所以是空行

代码↓

深圳租房信息爬虫

因为headers比较长所以我省略了一部分,比较遗憾的是不会操作pdf文件,不然就可以把图片也写进去。(中间因为请求太频繁豆瓣还把我的账号锁定了0.0)