找房的人都遇到过中介吧？通过Python来区分安居客和私人房源！

 

 

 

2.3，下载网页内容提取器程序

网页内容提取器程序是GooSeeker为开源Python即时网络爬虫项目发布的一个类，使用这个类，可以大大减少信息采集规则的调试时间，具体参看《Python即时网络爬虫项目: 内容提取器的定义》

• 下载地址: https://github.com/FullerHua/gooseeker/core/gooseeker.py把gooseeker.py保存在项目目录下

3，网络爬虫的源代码

# _*_coding:utf8_*_
# anjuke.py
# 爬取安居客房产经纪人
from urllib import request
from lxml import etree
from gooseeker import GsExtractor
class Spider:
 def getContent(self, url):
 conn = request.urlopen(url)
 output = etree.HTML(conn.read())
 return output
 def saveContent(self, filepath, content):
 file_obj = open(filepath, 'w', encoding='UTF-8')
 file_obj.write(content)
 file_obj.close()
bbsExtra = GsExtractor() 
# 下面这句调用gooseeker的api来设置xslt抓取规则
# 第一个参数是app key，请到GooSeeker会员中心申请
# 第二个参数是规则名，是通过GooSeeker的图形化工具: 谋数台MS 来生成的
bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e" , "安居客房产经纪人") 
url = "http://shenzhen.anjuke.com/tycoon/nanshan/p"
totalpages = 50
anjukeSpider = Spider()
print("爬取开始")
for pagenumber in range(1 , totalpages):
 currenturl = url + str(pagenumber)
 print("正在爬取", currenturl)
 content = anjukeSpider.getContent(currenturl)
 outputxml = bbsExtra.extract(content)
 outputfile = "result" + str(pagenumber) +".xml"
 anjukeSpider.saveContent(outputfile , str(outputxml))
print("爬取结束")

 

 

5，总结因为信息采集规则是通过api下载下来的，所以，本案例的源代码显得十分简洁。同时，整个程序框架变得很通用，因为最影响通用性的采集规则是从外部注入的。

6，集搜客GooSeeker开源代码下载源

1. GooSeeker开源Python网络爬虫GitHub源

进群：125240963   即可获取十套PDF书籍资料！