欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

http://fitness.39.net/food用file_get_contents为什么不能抓取?

程序员文章站 2022-05-15 22:17:39
...
直接echo file_get_contents('http://fitness.39.net/food/');
显示:
Warning: file_get_contents(http://fitness.39.net/food/) [function.file-get-contents]: failed to open stream: HTTP request failed!

怀疑是服务器验证了的浏览器UA,于是在php.ini中设置:

allow_url_fopen =on
user_agent=”Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)”

重启apache,然后还是成功的失败了,依旧:

Warning: file_get_contents(http://fitness.39.net/food/) [function.file-get-contents]: failed to open stream: HTTP request failed!

求高手解答

回复内容:

直接echo file_get_contents('http://fitness.39.net/food/');
显示:

Warning: file_get_contents(http://fitness.39.net/food/) [function.file-get-contents]: failed to open stream: HTTP request failed!

怀疑是服务器验证了的浏览器UA,于是在php.ini中设置:

allow_url_fopen =on
user_agent=”Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)”

重启apache,然后还是成功的失败了,依旧:

Warning: file_get_contents(http://fitness.39.net/food/) [function.file-get-contents]: failed to open stream: HTTP request failed!

求高手解答

问题找到了。事先说明,我是用 Node.js 来测试的。

初试

首先我用了下面的代码:

var spidex = require("spidex");

spidex.get("http://fitness.39.net/food/", function(html, status, respHeader) {
    console.log(html);
}, "utf8").on("error", function(err) {
    console.log(err.message);
});

传回来的是访问失败,连接错误。

假设

然后我用 Chrome 来查看我们正常访问时的一些 header 逐个去试。

http://fitness.39.net/food用file_get_contents为什么不能抓取?

var spidex = require("spidex");

var headers = {
    "connection"    : "keep-alive"
};

spidex.get("http://fitness.39.net/food/", function(html, status, respHeader) {
    console.log(html);
}, headers, "utf8").on("error", function(err) {
    console.log(err.message);
});

还是连接错误——直到我添加上了 accept 时:

var spidex = require("spidex");

var headers = {
    "connection"    : "keep-alive",
    "accept"        : "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
};

spidex.get("http://fitness.39.net/food/", function(html, status, respHeader) {
    console.log(html);
}, headers, "utf8").on("error", function(err) {
    console.log(err.message);
});

结果出来了。

结论

目测是服务端做了对 accept 什么的的验证吧,总之在请求头上面添加一个 accept 字段,并且值设置为 text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 即可。

相关标签: php