有哪些开源的爬虫、网页抓取的框架或工具？

程序员文章站 2024-01-07 18:46:22

...

RT.
我知道个python写的scrapy
还有其它优秀的吗，不限语言

回复内容：

RT.
我知道个python写的scrapy
还有其它优秀的吗，不限语言

可视化的网页内容抓取工具 Portia.
详细介绍（含视频）地址：http://t.cn/8sxRbh3
GitHub地址：http://t.cn/8sJ0mbq

java crawler4j webmagic

我刚发起了一个开源python爬虫的项目，期望给python爬虫开发者节省下来60%的时间，欢迎参与：https://segmentfault.com/a/1190000005088990