欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

【JavaWeb】动态网页抓取

程序员文章站 2022-05-05 14:48:12
...

Jsoup无法获取Js及Ajax执行后的网页内容,用HtmlUnit抓取动态网页:

private String getPage(String url,boolean enabledJs,boolean ignoreSSL,boolean enabledCss,boolean enabledAjax) throws IOException {
        WebClient webClient = new WebClient(BrowserVersion.CHROME); //创建一个webclient
        webClient.getOptions().setJavaScriptEnabled(enabledJs); // 启动JS
        webClient.getOptions().setUseInsecureSSL(ignoreSSL);//忽略ssl认证
        webClient.getOptions().setCssEnabled(enabledCss);//禁用Css,可避免自动二次请求CSS进行渲染
        webClient.getOptions().setThrowExceptionOnScriptError(false);//运行错误时,不抛出异常
        if(enabledAjax)
            webClient.setAjaxController(new NicelyResynchronizingAjaxController());// 设置Ajax异步

        HtmlPage page = webClient.getPage(url);
        webClient.waitForBackgroundJavaScript(10000);
        return page.asXml();
    }
相关标签: HtmlUnit