htmlunit爬虫简单使用示例

• maven引入依赖项

<dependency>
	<groupId>net.sourceforge.htmlunit</groupId>
	<artifactId>htmlunit</artifactId>
	<version>2.38.0</version>
</dependency>

• 简单使用示例

① 创建web客户端并配置

//新建一个模拟谷歌Chrome浏览器的浏览器客户端对象
WebClient webClient = new WebClient(BrowserVersion.CHROME);
//当JS执行出错的时候是否抛出异常, 这里选择不需要
webClient.getOptions().setThrowExceptionOnScriptError(false);
//当HTTP的状态非200时是否抛出异常, 这里选择不需要
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getOptions().setActiveXNative(false);
//是否启用CSS, 因为不需要展现页面, 所以不需要启用
webClient.getOptions().setCssEnabled(false);
//很重要，启用JS。有些网站要开启！
webClient.getOptions().setJavaScriptEnabled(true); 
//很重要，设置支持AJAX
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.getOptions().setRedirectEnabled(false);
webClient.getCache().setMaxSize(100);

② 通过url获取page对象

HtmlPage page = webClient.getPage("https://www.baidu.com");

③ 通过xpath获取所需内容

HtmlElement element= (HtmlElement) page.getByXPath("//div[@id='title_id']/h1").get(0);
System.out.println(element.asText());
System.out.println(element.getAttribute("href"));