欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

CURL采集远程图片到本地时,图片漏采了怎么处理

程序员文章站 2022-05-30 16:25:00
...
远程图片保存到本地需要一定的时间,而采集一下子就会采集上百篇,这就导致很多图片还没来的及保存到本地,就开始采集下一条。

不设置采集间隔时间,用PHP能不能解决这个问题,只在图片保存到本地执行完成后再继续执行下一条


回复讨论(解决方案)

你是多线程的采集吗?
最好贴出相关代码

如果只是解决漏采问题,循环多get几次就好,有时是对方服务器不稳定

function curl_get($url) {	$filename = time ();	$curl = curl_init ();	curl_setopt ( $curl, CURLOPT_URL, $url );	curl_setopt ( $curl, CURLOPT_RETURNTRANSFER, true );	$data = curl_exec ( $curl );	curl_close ( $curl );	$file_extension = image_type ( $url );	$filename .= '.' . $file_extension;		$fp = fopen ( './zzz/' . $filename, "w" );	fwrite ( $fp, $data );	fclose ( $fp );}$content = file_get_contents ( 'img.txt' );$arr = explode ( "\r\n", $content );foreach ( $arr as $v ) {	curl_get ( $v );}

img.txt保存的都是远程图片地址,如果在循环时sleep(2)可以全部正确保存到本地,不设置间隔时间,都会漏掉几张。有什么方法可以解决这个问题

你不用 curl_multi 的吗?单个 curl 无法充分利用资源
CURLOPT_FILE 参数可直接写入文件,而不需要人工干预

并不是一次性采集多张图片,然后发布到一篇文章。而是每篇文章中的远程图片都会保存到本地,所以用的是单线程的curl.

采集100篇带图片的文章到自己的程序,使图片本地化的过程中,就漏了一部分图片

你不用 curl_multi 的吗?单个 curl 无法充分利用资源
CURLOPT_FILE 参数可直接写入文件,而不需要人工干预



CURLOPT_FILE 速度确实快多了,但只是遗漏的文件少了,仍然避免不了遗漏

一篇文章只有一张图片吗?
漏掉的图片也可能是没有分析出来

一篇文章只有一张图片吗?
漏掉的图片也可能是没有分析出来

只要每次循环间隔2秒就一定能完整保存到本地,难道没办法等其完全执行完毕后再执行下一次循环吗

一篇文章只有一张图片吗?
漏掉的图片也可能是没有分析出来

我保存为图片后,同时执行了file_put_contents 把图片地址写入到文本文件中,图片地址的数量一个也没少,说明图片解析是没问题的,问题可能是写入需要一定的时间,而循环却不等其写入完成

我使用 fwrite($fp, file_get_contents($url)); 解决了问题。但是curl为什么就不行呢?难道他不等数据返回就继续往下了吗,如何设置curl才能正确全部获取

你的 curl_get 不可能被重入
只有前一次执行完之后才可能执行下一次
是否在循环中停顿一下根本就没有关系

那问题在哪里呢,用curl为什么会丢失文件,该如何设置

CURLOPT_TIMEOUT 设置cURL允许执行的最长秒数

CURLOPT_CONNECTTIMEOUT 在发起连接前等待的时间,如果设置为0,则无限等待。

这2个试下,应该能解决问题。如果不能,请检查代码其他部分,不一定是curl的问题