PHP Curl出现403错误的解决办法

自己用的小php应用，使用curl抓网页下来处理，为了穿墙方便，使用privoxy作为代理，便于选择哪些网站使用proxy、哪些不用。但今天却遇到了奇怪的问题，访问google baidu这些网站居然都返回403错误，而访问其他的一些网站没事，如果设置为不使用proxy则都能正常访问。

难道google baidu就不让用proxy连接么？显然不可能，所以打开curl的信息输出（curl_setopt($this->msh, curlopt_verbose, 1);）看看，得到以下结果：

*   trying 127.0.0.1... * connected
* connected to 127.0.0.1 (127.0.0.1) port 8118 (#0)
* establish http proxy tunnel to www.baidu.com:80
> connect www.baidu.com:80 http/1.0
host: www.baidu.com:80
user-agent: mozilla/4.0 (compatible; msie 6.0; windows nt 5.1; sv1)
proxy-connection: keep-alive

< http/1.0 403 connection not allowable
< x-hint: if you read this message interactively, then you know why this happens ,-)
<
* the requested url returned error: 403
* received http code 403 from proxy after connect
* closing connection #0
... failed.

可以看到proxy服务器工作正常，的确是baidu返回了403错误，但原因肯定还在我这边。终于，从网上（1of2, 2of2）得到了点启发──我使用的是proxytunnel而非proxy。

在代码中，有这么一句：

 curl_setopt($this->msh, curlopt_httpproxytunnel, true);
 curl_setopt($this->msh, curlopt_proxy, $phost);

php文档中没有详细说明，不过man curl中有详细解释，两者都是代理，proxytunnel（-p参数）允许其他协议通过http代理传输，而proxy（-x参数）则只能走http协议。所以我猜测，google baidu的服务器和curl的proxytunnel不和，所以返回403。

禁用掉上面2行代码的第一句后，curl访问恢复正常。

比较奇怪的是，几种操作系统下还不一样，一台mac osx就要显式的禁用proxytunnel才可以，curl版本：

$ curl --version
curl 7.16.3 (powerpc-apple-darwin9.0) libcurl/7.16.3 openssl/0.9.7l zlib/1.2.3
protocols: tftp ftp telnet dict ldap http file https ftps
features: gss-negotiate ipv6 largefile ntlm ssl libz

而另外一台ubuntu则完全不受影响，怎么都能用，curl版本：

$ curl --version
curl 7.18.2 (i486-pc-linux-gnu) libcurl/7.18.2 openssl/0.9.8g zlib/1.2.3.3 libidn/1.10
protocols: tftp ftp telnet dict ldap ldaps http file https ftps
features: gss-negotiate idn ipv6 largefile ntlm ssl libz

mt主机上的centos也没事，curl版本：

$ curl --version
curl 7.15.5 (i686-redhat-linux-gnu) libcurl/7.15.5 openssl/0.9.8b zlib/1.2.3 libidn/0.6.5
protocols: tftp ftp telnet dict ldap http file https ftps
features: gss-negotiate idn ipv6 largefile ntlm ssl libz

看来不完全是curl版本问题，mac osx的确与众不同啊。

还有一个原因也会导致curl返回403错误，如果设置了：

 curl_setopt($ch, curlopt_nobody, true);

则需要紧跟着设置：

 curl_setopt($ch, curlopt_customrequest, 'get');

不然会因为http服务器不允许 head 命令而返回403错误。参考：trouble with a curl request in php（http://forums.devshed.com/php-development-5/trouble-with-a-curl-request-in-php-445222.html）。mac osx上curl之所以特殊，也不排除是这种原因吧。