欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

java爬虫抓取js/ajax动态生成的网页  

程序员文章站 2022-03-20 18:28:32
...

    最近一段时间,公司要写一个爬虫项目,遇到一些js或者ajax动态生成的网页,在网上找了一下,发现webdriver比较靠谱,至于htmlunit测试了一些网站直接抛异常,可能对于js支持的不是特别好。

    WebDriver一般来说有两方式:本地diver和远程diver。由于爬虫最终会部署到linux服务器,只能在命令行运行,好像是装不了浏览器,所以本地driver的流程走不通,只能尝试远程driver。还好,发现一个phantomjs的webdriver,可以在linux*面下运行,于是选择它作为处理js动态生成网页的解决手段。

     下载去官网:http://phantomjs.org/download.html,找到对应版本下载。解压即安装。进入bin目录,执行phantomjs,需要带上启动参数,执行远程driver的地址和端口。phantomjs --webdriver 127.0.0.1:10025。

     java连接:

     

WebDriver driver = new RemoteWebDriver("http://127.0.0.1:10025", DesiredCapabilities.phantomjs());
driver.get("http://www.iteye.com");