都说php采摘很耗费服务器资源,哪个过程最耗服务器资源呢
程序员文章站
2023-12-27 12:49:45
...
都说php采集很耗费服务器资源,哪个过程最耗服务器资源呢?
最近在研究php采集程序
采集过程就是获取数据,再处理数据,最后入库
个人觉得排除重复数据入库最耗费服务器资源,大家觉得呢??
------解决方案--------------------
楼主这个问题,几乎可以肯定不会有明确唯一的答案。跟具体的业务内容有关。采集时的网络流量、采到数据后的处理、写数据库、甚至存储容量,都可能成为瓶颈。
我做过的一个抓网页的程序,也算是采集吧,并发百八十个 HTTP Request 就把网络拥爆了。
————————————————————————————————
基于CSDN论坛提供的插件扩展功能,自己做了个签名档工具,分享给大家,欢迎技术交流 :)
------解决方案--------------------
偷数据下来费网络资源
分析数据费系统资源
------解决方案--------------------
采集别人的页面要占很大网络
分析匹配文件占用系统资源
写入数据库~ 你懂的
------解决方案--------------------
file_get_contents function会很耗网络资源,
preg_match_all and preg_replace function 耗CPU资源,而且不是一般的耗CPU,你自己可以去模拟计算时间
最近在研究php采集程序
采集过程就是获取数据,再处理数据,最后入库
个人觉得排除重复数据入库最耗费服务器资源,大家觉得呢??
------解决方案--------------------
楼主这个问题,几乎可以肯定不会有明确唯一的答案。跟具体的业务内容有关。采集时的网络流量、采到数据后的处理、写数据库、甚至存储容量,都可能成为瓶颈。
我做过的一个抓网页的程序,也算是采集吧,并发百八十个 HTTP Request 就把网络拥爆了。
————————————————————————————————
基于CSDN论坛提供的插件扩展功能,自己做了个签名档工具,分享给大家,欢迎技术交流 :)
------解决方案--------------------
偷数据下来费网络资源
分析数据费系统资源
------解决方案--------------------
采集别人的页面要占很大网络
分析匹配文件占用系统资源
写入数据库~ 你懂的
------解决方案--------------------
file_get_contents function会很耗网络资源,
preg_match_all and preg_replace function 耗CPU资源,而且不是一般的耗CPU,你自己可以去模拟计算时间
相关文章
相关视频