欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

webmagic

程序员文章站 2022-05-02 20:51:04
...

Downloader-页面下载

PageProcessor-页面分析及链接抽取

Scheduler-URL管理

Pipeline-离线处理和持久化



spider.addPipeline(new ConsolePipeline()).addPipeline(new FilePipeline())

实现输出结果到控制台,并且保存到文件的目标。