javascript - php抓取网页ajax请求的内容,按F12找到ajax请求的网址后,接下来应该怎么做呢?
程序员文章站
2022-05-24 18:54:22
...
用phpcrawl抓取网页,网页中有些内容是要登录后才显示的,按F12找到了ajax请求这部分内容的网址,ajax请求网址格式为:
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?
回复内容:
用phpcrawl抓取网页,网页中有些内容是要登录后才显示的,按F12找到了ajax请求这部分内容的网址,ajax请求网址格式为:
http://www.*.com/helloworld/ajax.php?id=260&cat=kk&time=1442075455597
每个需要抓取的页面都有一个这样的请求,那么,这个网址应该怎么用呢?
问号后面就是请求的字段
你可以伪造请求,发送请求时设置header和cookie,将自己的行为伪装成和浏览器一样,然后用爬虫去爬这个地址就行了