欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

使用CURL返回404,但用浏览器可以打开,怎么回事?

程序员文章站 2022-05-18 12:38:21
...
如网页:http://movie.douban.com/subject/3878157/,想用curl获取网页内容,但返回404;单用浏览器可以顺利打开。看了下也没有重定向,怎么回事,curl 该怎么设置?


回复讨论(解决方案)

地址栏 http://movie.douban.com/subject/3878157/

呃...你想访问的页面不存在

> 1秒后 返回首页

地址栏 http://movie.douban.com/subject/3878157/

呃...你想访问的页面不存在

> 1秒后 返回首页 浏览器打得开啊,是电影《电锯惊魂》

你那是浏览器cache吧?


地址栏 http://movie.douban.com/subject/3878157/

呃...你想访问的页面不存在

> 1秒后 返回首页 浏览器打得开啊,是电影《电锯惊魂》
确实是不存在,返回首页



地址栏 http://movie.douban.com/subject/3878157/

呃...你想访问的页面不存在

> 1秒后 返回首页 浏览器打得开啊,是电影《电锯惊魂》
确实是不存在,返回首页 晕倒,我怎么打得开。使用curl连续打开50个网页,都返回404,在返回404时在页面添加一个网页链接,然后随便打开哪个都没问题。难道curl缓存了网页,在新建的浏览器中又是404,见鬼了!






地址栏 http://movie.douban.com/subject/3878157/

呃...你想访问的页面不存在

> 1秒后 返回首页 浏览器打得开啊,是电影《电锯惊魂》
确实是不存在,返回首页 晕倒,我怎么打得开。使用curl连续打开50个网页,都返回404,在返回404时在页面添加一个网页链接,然后随便打开哪个都没问题。难道curl缓存了网页,在新建的浏览器中又是404,见鬼了!
curl不会缓存的,你应该找找程序的问题





地址栏 http://movie.douban.com/subject/3878157/

呃...你想访问的页面不存在

> 1秒后 返回首页 浏览器打得开啊,是电影《电锯惊魂》
确实是不存在,返回首页 晕倒,我怎么打得开。使用curl连续打开50个网页,都返回404,在返回404时在页面添加一个网页链接,然后随便打开哪个都没问题。难道curl缓存了网页,在新建的浏览器中又是404,见鬼了!

curl不会缓存的,你应该找找程序的问题




我错了,有可能的
你加一下 CURLOPT_FRESH_CONNECT 这个试试吧 强制获取新连接








地址栏 http://movie.douban.com/subject/3878157/

呃...你想访问的页面不存在

> 1秒后 返回首页 浏览器打得开啊,是电影《电锯惊魂》
确实是不存在,返回首页 晕倒,我怎么打得开。使用curl连续打开50个网页,都返回404,在返回404时在页面添加一个网页链接,然后随便打开哪个都没问题。难道curl缓存了网页,在新建的浏览器中又是404,见鬼了!

curl不会缓存的,你应该找找程序的问题




我错了,有可能的
你加一下 CURLOPT_FRESH_CONNECT 这个试试吧 强制获取新连接 还是不行,用firefox新建隐私浏览窗口,执行程序后,点击原始链接还是404返回首页;而firefox一般窗口执行程序,虽然curl仍然返回404,但是打开原始链接就没问题。难道这些电影豆瓣有限制?

非用户是自然不行的
从窗口进入的那是小偷

非用户是自然不行的
从窗口进入的那是小偷 ,还真是的,某些电影必须登录才能查看,而且都是些情色、暴力之类的。原来是这个原因,NND。