欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

php curl 怎么抓取天猫商品页面?

程序员文章站 2022-05-31 09:53:25
...


抓取不到页面

回复讨论(解决方案)

$ret = file_get_contents("http://item.taobao.com/item.htm?id=2315770603");var_dump($ret);

电商网站都是用了多层嵌套的 js 第三方验证技术
由于 curl 不能执行 js 代码,所以不可能抓取到有价值的页面
你可通过 v8js 扩展来实现 js 代码的执行

$url = "http://item.taobao.com/item.htm?id=2315770603";$ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_FOLLOWLOCATION,true);curl_setopt($ch, CURLOPT_MAXREDIRS,20);$file_contents = curl_exec($ch);echo $file_contents;curl_close($ch);

抓天猫要抓到完整的信息,估计至少要几十行代码,肯定要发送多次请求才能达到目的