(仿)火车头采集器 源码开源

菜鸟作品,不喜勿喷

前两年自己花了很久想仿制一款火车头采集器

然后也付出了很多努力,最终未能修成正果

代码一直在电脑中吃灰,本着无私奉献的精神

免费开源,给有需要的人参考和完善

软件功能大部分都已实现

• 任务新建和编辑
• 网址采集
• 标签编辑
• 数据采集
• 数据发布
• 发布配置的修改,编辑和测试
• 发布模块的修改和编辑

 

 

先上一些效果图

运行效果

主窗口

 

 

任务窗口

 

 

 

采集内容

 

 

 

网址采集

 

 

 

发布选择

 

 

多级网址采集

 

浏览器获取信息

 

标签编辑(这个部分耗时比较久)

 

 

 

接下来是发布部分

 

发布配置

 

 

 

发布模块

 

发布测试

 

 

 

开发日志(当时手机记录的,比较长,可跳过,下载地址在最后)

5.23

[窗口]主界面布局

[窗口]信息提示窗口

 

 

5.24

[窗口]任务分组列表

[新增]任务列表实现保存和读取

[优化]主界面窗口尺寸自适应完善

 

 

5.25

[新增]分组增加，删除以及修改功能实现，已xml文本形式保存文件

 

5.26

[优化]分组增删改重写，改用sqlite3

 

 

5.27

 [窗口]采集任务第一步布局

[窗口]动态提醒帮助窗口

[控件]picmenu——菜单选择改变文本框

[窗口]网址添加(半成品)

 

5.28

 [控件]高亮显示编辑框

[控件]lable——选项修改代码框

[窗口]添加采集地址添加窗口布局完成

[新增]网址添加部分各个规则生成预览完成

 

5.29

 [优化]重新优化代码高亮编辑框，更多属性和配置，更多展现组合方式

[新增]任务编辑基本信息读取(标题，备注等)

[窗口]多页管理窗口布局完成

[新增]多页管理网址替换和源码中提取

 

5.30

[新增]gac浏览器支持xpath，可视化选取采集元素，支持多选和单选，网址自动纠正

 

5.31

[窗口]添加任务第一步全部布局完成(尺寸自适应)

[新增]通过xpath获取网址

[优化]代码高亮，支持post随机值和分页

[代码]新增获取规则网址列表(待测试)

 

6.1

[窗口]第一步读取配置信息完成

[新增]多级网址规则增删改

[新增]post参数增删改

[新增]自动获取网址链接

[新增]手动获取网址链接

[新增]get和post方式获取链接6.2[新增]多级网址支持标签

[新增]支持附加参数

[新增]列表分页获取

[核心]获取网址列表(一级网址)

 

6.3

[新增]获取网址列表支持xpath

[新增]测试地址采集结果，实时状态

[新增]测试结果的导出，复制，浏览

[新增]获取网址列表支持多级

[新增]检测重复网址

[新增]多级网址只测试第一级

[新增]网址列表结果支持标签

[优化]浏览器获取cookies自动跳转第一个网址

 

6.4-6.9暂停开发六天

 

6.10

[优化]网址采集支持多级标签

[布局]新建任务第三步布局完成

 

6.12

-16[辅助]xml生成实体类工具开发

 

6.17

暂停一天

 

6.18

[窗口]多页管理实现

 

6.19

[窗口]标签编辑基本布局

 

6.20

[新增]标签处理列表读取

 

6.21-6.22

[优化]部分标签处理编辑

 

6.24

[优化]除ocr外所有标签读取编辑保存

[优化]固定格式读取，测试 

后面懒得写了

赞 (0)

打赏 微信扫一扫

相关文章:

• 

  NetworkStream的使用(TcpClient,TcpListener)

  1、在tcp连接中，Networkstream可以重复读取，重复写入，不用关掉连接。 2、关掉NetworkStream会自动关闭掉Tcp连接 3、... [阅读全文]
• 

  实施微服务架构的关键技术

  原文链接：https://mp.weixin.qq.com/s/oI3Py2PZY31mA5iOOOd73g 本文来自CCTC2017大会孙玄的演讲... [阅读全文]
• 

  南瓜怎么做好吃，这几招家常做法都不错

  南瓜是很多朋友们日常生活中非常喜欢的一种食材，它的味道十分香甜，而且又富含着很多的营养。除了食用南瓜烹饪各种美味佳肴以外，还有很多朋友喜欢食用南瓜子。但是我们对... [阅读全文]
• 

  SpringBoot（三） 配置文件 篇章

  SpringBoot 配置文件默认为application.properties，但是本章节主要讲解yaml文件配置，因为现在的趋势是使用yaml，... [阅读全文]
• 

  羊奶的功效与作用别知道的太晚，平时真小瞧了

  人类和很多哺乳类动物一样，都是使用母乳长大的。我们慢慢长大的过程当中会断奶。但是身体上又需要一些营养来补充，这时候动物的奶制品就是非常好的营养元素，平日里大家经... [阅读全文]

版权声明：本文内容由互联网用户贡献，该文观点仅代表作者本人。本站仅提供信息存储服务，不拥有所有权，不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 [e-mail] 举报，一经查实将立刻删除。

发表评论

验证码：