CURL抓取的网页中,通过相对路径引用了其他页面,怎么解决cookie有关问题
程序员文章站
2024-01-06 18:23:16
...
CURL抓取的网页中,通过相对路径引用了其他页面,如何解决cookie问题?
例如,用curl抓取页面A,页面A通过相对路径引用了页面B,页面B有Set-Cookie的头部,而页面A没有Set-Cooike。
我只能curl抓取页面A,但是抓不到cookie,因为cookie是在页面B设置的。求高手解决问题!万分感激!
------解决方案--------------------
分两次/多次抓取
其实对于ajax/验证码等等都是这样做的
例如,用curl抓取页面A,页面A通过相对路径引用了页面B,页面B有Set-Cookie的头部,而页面A没有Set-Cooike。
我只能curl抓取页面A,但是抓不到cookie,因为cookie是在页面B设置的。求高手解决问题!万分感激!
------解决方案--------------------
分两次/多次抓取
其实对于ajax/验证码等等都是这样做的
相关文章
相关视频