欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

php curl 如何抓取淘宝商品页面?求大神回复。。感觉超难。

程序员文章站 2022-05-16 20:37:23
...
这是我写的curl抓取代码,抓取天猫商品也有用。但淘宝商品页却抓不了。

加了CURLOPT_FOLLOWLOCATION也没用。。求大神指导

回复讨论(解决方案)

淘宝描述动态加载 分析一下 取那个地址

怎么分析。。CURLOPT_FOLLOWLOCATION不是会自动跳到最终也没吗

不仅要有跳转,还需要传递 cookie
curl 仅能获取目标页面的 html 代码,并不能执行其中的 js 程序
而该页面的关键数据同时通过 js 产生的

。。。。。我现在连页面都抓不到
怎么存cookie

存储cookie有专门的属性
CURLOPT_COOKIEJAR

我试了下 http://item.taobao.com/item.htm?id=16396503658 根本打开了就是空白的你想怎么取?
你的商品ID是有问题的...

我试了下 http://item.taobao.com/item.htm?id=16396503658 根本打开了就是空白的你想怎么取?
你的商品ID是有问题的...
能打开好不
我已经解决了,是header没有模拟好

本帖最后由 PhpNewnew 于 2014-02-07 09:05:23 编辑


我试了下 http://item.taobao.com/item.htm?id=16396503658 根本打开了就是空白的你想怎么取?
你的商品ID是有问题的...
能打开好不
我已经解决了,是header没有模拟好

能打开?我这里是能打开 打开后就是空白.换了个浏览器 IE 的确是可以的...chrome不行 搞笑


我试了下 http://item.taobao.com/item.htm?id=16396503658 根本打开了就是空白的你想怎么取?
你的商品ID是有问题的...
能打开好不
我已经解决了,是header没有模拟好

HEADER怎么模拟的,求代码。



我试了下 http://item.taobao.com/item.htm?id=16396503658 根本打开了就是空白的你想怎么取?
你的商品ID是有问题的...
能打开好不
我已经解决了,是header没有模拟好

HEADER怎么模拟的,求代码。
同求