CURL采集远程图片到本地时,图片漏采了怎么办
程序员文章站
2022-06-02 16:05:57
...
CURL采集远程图片到本地时,图片漏采了怎么处理
远程图片保存到本地需要一定的时间,而采集一下子就会采集上百篇,这就导致很多图片还没来的及保存到本地,就开始采集下一条。
不设置采集间隔时间,用PHP能不能解决这个问题,只在图片保存到本地执行完成后再继续执行下一条
------解决思路----------------------
你不用 curl_multi 的吗?单个 curl 无法充分利用资源
CURLOPT_FILE 参数可直接写入文件,而不需要人工干预
------解决思路----------------------
CURLOPT_TIMEOUT 设置cURL允许执行的最长秒数
CURLOPT_CONNECTTIMEOUT 在发起连接前等待的时间,如果设置为0,则无限等待。
这2个试下,应该能解决问题。如果不能,请检查代码其他部分,不一定是curl的问题
远程图片保存到本地需要一定的时间,而采集一下子就会采集上百篇,这就导致很多图片还没来的及保存到本地,就开始采集下一条。
不设置采集间隔时间,用PHP能不能解决这个问题,只在图片保存到本地执行完成后再继续执行下一条
------解决思路----------------------
你不用 curl_multi 的吗?单个 curl 无法充分利用资源
CURLOPT_FILE 参数可直接写入文件,而不需要人工干预
------解决思路----------------------
CURLOPT_TIMEOUT 设置cURL允许执行的最长秒数
CURLOPT_CONNECTTIMEOUT 在发起连接前等待的时间,如果设置为0,则无限等待。
这2个试下,应该能解决问题。如果不能,请检查代码其他部分,不一定是curl的问题
相关文章
相关视频
上一篇: Oracle基础教程:集合操作
下一篇: IIS7.5环境下,文件上传失败