欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

Windows配置heritrix3做网络爬虫开发实例

程序员文章站 2023-01-08 23:49:23
Windows配置heritrix3做网络爬虫开发实例...

一、引言:

最近在忙某个商业银行的项目,需要引入外部互联网数据作为参考,作为技术选型阶段的工作,之前已经确定了中文分词工具,下一个话题就是网络爬虫的选择,目标很明确,需要下载一些财经网站的新闻信息,然后进行文本计算。记得上一次碰爬虫还是5年前,时过境迁,不知道爬虫的世界里是否有了新的崛起。比较过一些之后,初步认定heritrix基本能够满足需要,当然肯定是需要定制的了。

二、版本选择

heritrix当前版本3.1.0,安装后发现,启动任务时,windows平台有bdbopen的错误(具体原因不详),linux环境没有测试。度娘了一把,没啥实质性收获,如果从源码去看,又太费时间。就换到了3.0.5,这个版本也有问题,就是创建job时,总是提示文件夹有问题,可以选择手动创建下载任务。操作界面如下图所示:

Windows配置heritrix3做网络爬虫开发实例

Windows配置heritrix3做网络爬虫开发实例

三、配置任务-手动

  1.jobs目录下新建文件夹sohu;

  2.拷贝模板文件profile-crawler-beans.cxml到sohu目录

  3.重命名profile-crawler-beans.cxml文件为crawler-beans.cxml

  4.手动修改文件crawler-beans.cxml,设置目标网站和存储方式:


代码如下:

四、停用robots检查

改造函数,禁用robots协议检查,目的就不说了,改造方法如下:


代码如下:

五、后续工作

1.定向下载改造:只下载目标内容,过滤无关信息。

2.自动解析改造:下载内容自动解析到指定目录,指定格式。