php批量下载远程文件到服务器,该怎么处理
程序员文章站
2022-06-13 10:10:15
...
php批量下载远程文件到服务器
我把远程文件的地址放在了数据库里面,现在从数据库里取出来然后再下载到服务器上,有什么高效率的方法么?目前数据记录是10w条。
------解决方案--------------------
最简单的方法
其实就是php的伪多线程的原理
1、写1个下载脚本,用file_get_contents
2、写1个调用下载的脚本,这里面调用多个下载的脚步,调用也是用file_get_contents提交url给下载脚本,就可以实现多个下载了。
里面应该注意的问题是,线程的个数问题,把线程个数存到数据库,这样比较好控制
我把远程文件的地址放在了数据库里面,现在从数据库里取出来然后再下载到服务器上,有什么高效率的方法么?目前数据记录是10w条。
------解决方案--------------------
最简单的方法
其实就是php的伪多线程的原理
1、写1个下载脚本,用file_get_contents
2、写1个调用下载的脚本,这里面调用多个下载的脚步,调用也是用file_get_contents提交url给下载脚本,就可以实现多个下载了。
里面应该注意的问题是,线程的个数问题,把线程个数存到数据库,这样比较好控制
相关文章
相关视频
上一篇: 创建大型高性能Web站点的十项规则(1)
下一篇: php+mysql数据库查询实例