欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Java 实现 HttpClients+jsoup,Jsoup,htmlunit,Headless Chrome 爬虫抓取数据

程序员文章站 2022-04-28 08:32:01
最近整理一下手头上搞过的一些爬虫,有HttpClients+jsoup,Jsoup,htmlunit,HeadlessChrome 一,HttpClients+jsoup,这是第一代比较low,很快就被第二代代替了! 二,Jsoup 需要的jar包: 代码如下: 参考Jsoup的文档:链接http: ......

最近整理一下手头上搞过的一些爬虫,有HttpClients+jsoup,Jsoup,htmlunit,HeadlessChrome

一,HttpClients+jsoup,这是第一代比较low,很快就被第二代代替了!

二,Jsoup

需要的jar包:

1 <dependency>
2     <groupId>org.jsoup</groupId>
3     <artifactId>jsoup</artifactId>
4     <version>1.10.3</version>
5 </dependency>

代码如下:

 1 // 请求超时时间,30秒
 2     public static final int TIME_OUT = 30*1000;
 3     // 模拟浏览器请求头信息
 4     public static Map<String,String> headers = new HashMap<String,String>();
 5     static{
 6         headers.put("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0");
 7         headers.put("Accept", "text/html");
 8         headers.put("Accept-Language", "zh-CN,zh");
 9     }
10     
11     //根据url获取html文档
12     protected Document getDoc(String url) throws IOException{
13         if(logger.isDebugEnabled())
14             logger.debug(url);
15         //新建一个连接
16         Connection conn = Jsoup.connect(url).timeout(TIME_OUT);
17         conn = conn.headers(headers);
18         conn = conn.proxy(Proxy.NO_PROXY);
19         Document doc = conn.get();
20         
21         if(logger.isTraceEnabled()){
22             logger.trace("["+url+"]\n"+doc);
23         }
24         return doc;
25     }

 

 1 public static final String CHINAZ_ICP_URL = "http://icp.chinaz.com/?type=host&s=%s";
 2 public List<String> doHandler(String domain) {
 3         List<String> results = new ArrayList<String>();
 4         String url = String.format(CHINAZ_ICP_URL, domain);
 5         Document doc;
 6         try {
 7             doc = this.getDoc(url);
 8             // 获取当前页ICP信息所在标签
 9             Elements eles = doc.select("ul.IcpMain01>li:lt(7)>p");
10                         
11             if(null == eles || eles.isEmpty()){
12                 return results;
13             }
14             //获取ICP信息
15             for (Element element : eles) {
16                 //当前元素为认证信息时,跳过
17                 if("safe".equals(element.attr("id"))){
18                     continue;
19                 }
20                 Node firstNode = element.childNode(0);
21                 if(firstNode.childNodeSize() > 0){
22                     results.add(element.child(0).text());
23                 }else{
24                     results.add(((TextNode)firstNode).text());
25                 }
26             }
27         } catch (IOException e) {
28             logger.error("get Chinaz ICP message error :",e);
29         }
30         doc = null;
31         return results;
32     }  

参考Jsoup的文档:链接http://www.open-open.com/jsoup/

Jsoup不支持xpath解析,这个很蛋疼,但是有人去搞个一个支持xpath的东西---JsoupXpath,链接https://www.cnblogs.com/wanghaomiao/p/4899355.html,有兴趣的网友可以自己尝试一下!

三,htmlunit
支持Xpath解析,能够模拟浏览器动作,比如点击下一页,加载更多等等功能。文档链接:http://htmlunit.sourceforge.net/

需要的jar包

1 <dependency>
2     <groupId>net.sourceforge.htmlunit</groupId>
3     <artifactId>htmlunit</artifactId>
4     <version>2.18</version>
5 </dependency>

代码如下:

 1 import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
 2 import com.gargoylesoftware.htmlunit.TopLevelWindow;
 3 import com.gargoylesoftware.htmlunit.WebClient;
 4 import com.gargoylesoftware.htmlunit.html.HtmlPage;
 5 import com.gargoylesoftware.htmlunit.html.HtmlTableRow;
 6 
 7 import java.io.IOException;
 8 import java.util.ArrayList;
 9 import java.util.List;
10 
11 
12 public class UrlTest {
13 
14     public static void main(String[] args) {
15         BaseCollector baseCollector = new BaseCollector();
16         WebClient webClient = baseCollector.getWebClient();
17         String url="http://htmlunit.sourceforge.net/";
18         HtmlPage homePage= null;
19         try {
20             homePage = webClient.getPage(url);
21             if (homePage != null && homePage instanceof HtmlPage) {
22                 homePage.getEnclosingWindow().setName("IpHomePage");
23                 System.out.println("打开 IPHomePage ");
24                 System.out.println("内容是:    "+homePage.getBody().getTextContent());
25 
26                 List<HtmlTableRow> htmlTableRows = (List<HtmlTableRow>) homePage.getByXPath("/html/body/pre");
27                 if (htmlTableRows != null && htmlTableRows.size() > 0) {
28                     for (int i = 0; i < htmlTableRows.size(); i++) {
29                         HtmlTableRow htmlTableRow = htmlTableRows.get(i);
30                         //日期
31                         String firstTime = htmlTableRow.getCell(0).getTextContent().trim();
32                         System.out.println(firstTime);
33                     }
34 
35                 }
36                 closeWindowByName(webClient, "IPHomePage");
37                 System.out.println("关闭 IPHomePage ");
38             }
39             webClient.close();
40 
41         } catch (IOException e) {
42             System.out.println(e.getMessage()+" ===="+e);
43         }catch (FailingHttpStatusCodeException e){
44             System.out.println(e.getMessage()+" ===="+e);
45         }
46         System.out.println("内容是:    "+homePage.getBody().getTextContent());
47     }
48 
49     public static void closeWindowByName(WebClient webClient, String name){
50         List<TopLevelWindow> list = webClient.getTopLevelWindows();
51         List windowNames = new ArrayList();
52         for (int j = 0; j < list.size(); j++) {
53             if(list.get(j).getName().equals(name)){
54                 list.get(j).close();
55             }
56             windowNames.add(list.get(j).getName());
57         }
58         System.out.println("当前窗口 : {}"+list.toString());
59     }
60 }
61 
62   

四,HeadlessChrome

在它之前有selenium+phantomjs,弊端网上搜一下可以了解一下,Chrome推出的HeadlessChrome就是为了解决这些蛋疼的东西。Chrome59版以后支持的很多特性,

比如:

  • ES2017

  • ServiceWork(PWA测试随便耍)

  • 无沙盒环境

  • 无痛通讯&API调用

首先需要下载chrome-driver,不同版本的Chrome对应不用的Chrome-driver,大家可以通过这链接下载对应的Chrome-driver       http://npm.taobao.org/mirrors/chromedriver/

支持各种elements的获取,List<WebElement> elements = driver.findElements(By.xpath("//*[@id=\"body\"]/ul[2]/li"));可以模拟浏览器的各种动作!

使用Python来搞HeadlessChrome更方便简单,简直爽翻天。。。。。链接:https://blog.csdn.net/u010986776/article/details/79266448

大家可以参考一下

需要的jar包:

1 <dependency>
2     <groupId>org.seleniumhq.selenium</groupId>
3     <artifactId>selenium-chrome-driver</artifactId>
4     <version>3.11.0</version>
5 </dependency>

代码如下:

 1 import org.jsoup.Jsoup;
 2 import org.jsoup.nodes.Document;
 3 import org.openqa.selenium.By;
 4 import org.openqa.selenium.WebDriver;
 5 import org.openqa.selenium.WebElement;
 6 import org.openqa.selenium.chrome.ChromeDriver;
 7 import org.openqa.selenium.chrome.ChromeOptions;
 8 
 9 import java.util.List;
10 import java.util.concurrent.TimeUnit;
11 
12 /**
13  * Created by sqy on 2018/5/2.
14  */
15 public class HeadlessChromeTest {
16 
17     public static void main(String args[]) {
18 
19 
20 
21         //G:\chromedriver
22         System.setProperty("webdriver.chrome.driver","G:\\chromedriver\\chromedriver.exe");
23         ChromeOptions chromeOptions = new ChromeOptions();
24 //        设置为 headless 模式 (必须)
25         chromeOptions.addArguments("--headless");
26 //        设置浏览器窗口打开大小  (非必须)
27         chromeOptions.addArguments("--window-size=1920,1080");
28         WebDriver driver = new ChromeDriver(chromeOptions);
29         driver.get("https://lvyou.baidu.com/scene/s-feb/");
30 
31         System.out.println("url: "+driver.getCurrentUrl());
32 
33         for(int i=0;i<12;i++){
34             try {
35                 /**
36                  * WebDriver自带了一个智能等待的方法。
37                  dr.manage().timeouts().implicitlyWait(arg0, arg1);
38                  Arg0:等待的时间长度,int 类型 ;
39                  Arg1:等待时间的单位 TimeUnit.SECONDS 一般用秒作为单位。
40                  */
41                 driver.manage().timeouts().implicitlyWait(3, TimeUnit.SECONDS);
42             } catch (Exception e) {
43                 e.printStackTrace();
44             }
45             //点击按钮
46             driver.findElement(By.linkText("下一页")).click();
47             List<WebElement> elements = driver.findElements(By.xpath("//*[@id=\"body\"]/ul[2]/li"));
48             for (WebElement el:elements) {
49                 System.out.println(el.getText());
50             }
51             System.out.println("url: "+driver.getCurrentUrl());
52         }
53 
54         /**
55          * dr.quit()和dr.close()都可以退出浏览器,简单的说一下两者的区别:第一个close,
56          * 如果打开了多个页面是关不干净的,它只关闭当前的一个页面。第二个quit,
57          * 是退出了所有Webdriver所有的窗口,退的非常干净,所以推荐使用quit最为一个case退出的方法。
58          */
59         driver.quit();
60 
61 
62     }
63 }

----------------------------------------------------若有不正之处,请谅解和批评指正,不胜感激!!!!!