ForeSpider采集教程：如何采集网页中附件数据

一. 网站内容

1. 网站截图说明

本教程通过“山西招投标网”官网来采集 链接列表（红框位置） 中正文的附件，故链接入口为：http://www.sxbid.com.cn/

【官网-二手房】

2. 链接列表采集结果预览

二. 操作方法

1. 新建任务

按图片数字所示，1-2-3完成新建任务的步骤

 

【新建任务】

Step1：按照图示1位置，点击“采集配置”。

Step2：按图示2位置，点击“任务列表”中的“+”。

Step3：在新建采集任务中输入采集网址即http://www.sxbid.com.cn/，任务名称可自定义，本次可输入为“中国石头招标投标网”。

点击“下一步”，需要采集正文数据，所以此处需要勾选“网页内所有链接”和“抽取数据”。

 

2. 链接抽取配置

Step1：按照图示1位置，Ctrl+左键选中“链接列表”。

Step2：按照图示2位置，点击“确认选区”，保证我们的数据是被选中的状态

Step3：按照图示3位置点击“采集预览”，查看数据详情，如下图所示：

3. 数据抽取

抽取数据（红框位置）中的链接 务必对应“链接列表”内的正文数据，即附件页面址。http://www.sxbid.com.cn/f/view-860ea5181ec54cd68435893df9254c02-1916cd9114ca48d4819b89c1da635597.html

4. 配置表单

如图示点击【数据建表】：

Step1：点击“采集配置”

Step2：点击“数据建表”

Step3：点击“+”，新建表单并自定义名称，这里取为“zhaobiao”

根据所需内容，配置表单字段，此处配置了包括主键、网页地址URL、标题、附件。表单建立如下：

【创建主键】

主键务必第一个创建，其含义为该表单所属ID

字段名称：hkey

采集内容 选择“主键”

数据类型 选择“长数字”

字段属性 选择 “索引字段”、“健值唯一”、“主键字段”、“全文索引”

最后点击“确定”即可。

 

【创建字段1-网页地址】

字段名称：url

采集内容 选择“选区内可见文本”

数据类型 选择“字符串”

数据长度 选择 范围240即可，最后点击确定。（备注可随意）

【创建字段2-标题】

字段名称：tittle

采集内容 选择“选区内可见文本”

数据类型 选择“字符串”

高级类型 选择 “长文本（<64K）”。（备注可随意）

【创建字段3-附件】

字段名称：fujian

采集内容 选择“网页代码/图片等资料”-“数据流文件”

表单配置字段自定义即可，如有多需求 可按上述同样操作即可。最终呈现如下图：

 

5. 关联数据表

表单配置完毕后，需要进行数据关联，操作如下：

选择所需的表单，点击【创建】按钮

创建表名称可随意填写，需注意 仅可使用“全英文”

6. 确认选区

操作如下图所示：

Step1：按照图1位置，在左侧点击“tittle”

Step2：按照图2位置ctrl+左键选中文章标题

Step3：最后点击“确认选区”即可

 

Step1：按照图1位置，在左侧点击“tittle”

Step2：按照图2位置ctrl+左键选中文章标题

Step3：最后点击“确认选区”即可

Step1：按照图1位置，在左侧点击“fujian”

Step2：在页面最低端会出现“附件下载”的位置即图2所示，ctrl+左键选中附件内容。

点击保存，完成数据选区

7. 数据建表 模板预览

在“新建模板：02”处右键选择“模板预览”，即可查看是否采集出所需数据，如下图：

Fujian字段数据出现“STREAM DATA”属于正常现象，请继续跟着教程完成最终采集。

三. 采集数据

1. 运行设置

运行设置处可以设置采集速度、采集策略、任务装载等。

2. 选择采集任务

操作如下图数字所示：

Step1：选择【数据采集】

Step2：在【任务列表】中勾选需要采集的任务，可勾选多个任务，同时采集。

Step3：点击“连接数据库”选择“打开”，此步骤不可避免，因为采集需要和数据库进行关联。

 

3. 开始采集

点击【开始采集】，系统开始进行采集。剩余任务数为0时，系统自动停止采集。用户也可以自己暂停任务或停止任务（停止任务会释放任务，再次启动时重新装载任务）。

4.数据浏览

采集一段时间以后，点击【数据浏览】，在数据列表中选中对应的数据表，即可浏览采集到的数据，点击【刷新】按钮可以同步显示数据。

【数据浏览】

5.导出数据

点击【导出】按钮，选择导出文件格式后保存。

导出数据时需选择正确的“存储路径”

导出方式 选择 “导出字段”

欲导出字段 选择 下滑列表中的 “fujian”，最终点击确认即可完成。

导出时，文件名后缀务必改为“docm”格式，保存类型选择“All Files”

打开下载后的文件，一份完整的附件就这样轻松采集到了，你学会了吗？

更多大数据咨询可关注公众号【前嗅大数据】（ID：forenose）

定期分享各行各业大数据情报 、竞品分析、AI舆情监控报告、SEO知识分享等干货。

我们不止做数据采集，燃爆AI 大数据

 

你想要的 我们都有！