高可用数据采集平台（怎么玩转3门语言php+.net+aauto）
同类文章：高并发数据采集的架构应用（Redis的应用）
吐槽下：本人主程是PHP，团队里面也没有精通.net的人才，为了解决这个平台方案，还是费了一部分劲。
新年了，希望有个新的开始。技术+团队管理都有新的突破吧，在新的一年对自己好些，不能再继续搞基下去。
问题出发点：
´随着软件的日益强大，用户的使用需求越来越多，用户也希望众多数据进行整合，来达到资源的合理应用。
´有些数据资源需要抓取网页的形式来采集到数据。
´采集应用不统一，没有良好的管理程序，杂乱无章。
´采集应用经常性无响应，无相应的中断程序，极大照成应用的不稳定性。
解决方案：
为了解决上述问题，提出了如下的解决方案，主要是使用了服务平台这个概念。
数据采集服务：使用C#创建windows服务。（aauto至今没找到相应的创建windows服务的实例）
功能包括：
1. 定时请求待采集事项，并放入待采集队列
2. 多线程定时通过API上传资源数据以及其它状态信息。
3. 定时平台监控，采集应用时间过长发出中断通知，通知无响应强制关闭应用并且重新启动。
4. 上传心跳信息，保证数据采集服务正常运行。
采集应用：使用AAuto创建应用，其实使用.net也是可以创建采集应用的，主要考虑到aauto语言这块团队相对来说成熟点，而且已有现成的应用了，只需要稍微修改下就可以和服务平台对接了。
功能包括：1. 采集数据资源放入本地数据库，比如sqlite。
2. 保存耗时信息，通过耗时的均运算服务平台可以决定多久发出中断通知，以及可以预测多久时间可以完成工作。
状态应用：主要是辅助应用。
功能包括：
1） 可以查看处理进度
2） 可以查看数据上传进度
3） 可以查看待处理进度
4） 可以查看应用耗时信息
通过以上的解决方案来看：服务平台作为统筹工作者，负责与PHP API进行交互，相对来说对于采集应用来说相对独立，所以有很好的解耦性，同时又保证了稳定性。
采集应用不再负责与PHP API交互，主要负责与本地资源交互，那么相对来说，代码的工作量减少了，采集速度也能相应的提高。
具体代码实现：可以关注下后期的文章吧，我也会进量把代码贡献出来。觉得不错的给个赞吧，新的一年新气象。
声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn核实处理。
相关文章
相关视频