php用curl 爬取页面会不会只爬取一半停止

程序员文章站 2022-04-01 12:54:50

...

php用curl 爬取页面会不会只爬取一半停止，如果停止了，是返回已经爬取到的那一部分html代码还是完全没有？

回复讨论(解决方案)

对方服务器如果不正常响应给你，就会停止了。所以需要看对方服务器情况。
规则正确，会得到爬取到的那一部分html代码。

会！可以是网络或对方的原因
中断后，以完成的数据是否还在？这要取决于你是怎么写代码的
常规的写法，自然是没有了，因为最终是超时而失败
但你若是指定了保存的文件 CURLOPT_FILE
或指定了写回调 CURLOPT_WRITEFUNCTION
还是有机会获得的

curl有函数判断整个页面是否加载完了么？

对方服务器如果不正常响应给你，就会停止了。所以需要看对方服务器情况。
规则正确，会得到爬取到的那一部分html代码。

那curl有没有函数判断整个页面加载完了没有？我需要的是加载完的页面

curl_getinfo