如何带cookie抓取页面内容
程序员文章站
2022-05-16 22:43:09
...
假设,QQ空间某个人对我的QQ设置了权限,也就是只有我登录了才可以访问,我想用PHP在服务端QQ空间然后抓取。遇到一些问题:
用casperjs登录有验证码,没办法,只能使用PHP登录WebQQ,那么我要怎么利用登录WebQQ的cookie来进入QQ空间呢?
或者求其他思路,求高手困扰很久了。
用casperjs登录有验证码,没办法,只能使用PHP登录WebQQ,那么我要怎么利用登录WebQQ的cookie来进入QQ空间呢?
或者求其他思路,求高手困扰很久了。
最终实现带cookie抓取页面内容即可。
回复内容:
假设,QQ空间某个人对我的QQ设置了权限,也就是只有我登录了才可以访问,我想用PHP在服务端QQ空间然后抓取。遇到一些问题:
用casperjs登录有验证码,没办法,只能使用PHP登录WebQQ,那么我要怎么利用登录WebQQ的cookie来进入QQ空间呢?
或者求其他思路,求高手困扰很久了。
最终实现带cookie抓取页面内容即可。
cookies 不過是 request header 中的一項內容罷了,請求頁面的時候把之前保存的 cookies 一起發過去,沒什麼大不了的。
用 file_get_contents
也行,示例代碼如下
array(
'method'=>"GET",
'header'=>"Accept-language: en\r\n" .
"Cookie: foo=bar\r\n"
)
);
$context = stream_context_create($opts);
// Open the file using the HTTP headers set above
$file = file_get_contents('http://www.example.com/', false, $context);
?>
然後 $http_response_header
里有返回的新 cookies,保存下來供以後調用就行了。
抓取頁面跟代理沒什麼兩樣,只不過目標呈現不同罷了。
上一篇: 请教一个无刷新更换图片的问题
下一篇: php做网站购物车 你搞懂了吗?
推荐阅读
-
asp.net页面中如何获取Excel表的内容
-
如何让搜索引擎抓取AJAX内容解决方案
-
如何将一个文本内容通过PHP 以表格的方式输入到页面上
-
如何跨站抓取别的站点的页面的补充
-
如何决定是否将登录内容保存到Cookie里?
-
利用curl抓取远程页面内容的示例代码
-
如何使用Python实现自动化抓取浏览器内容和提交答案
-
asp.net抓取页面内容+下载文件
-
分享下页面关键字抓取www.icbase.com站点代码(带asp.net参数的)
-
【.Net Core】.Net Core通过HtmlAgilityPack组件对页面数据定时进行抓取(通过.net core定时抓取网页内容)以及.net core部署和启动服务