欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

crawler4j抓取页面使用jsoup解析html时的解决方法

程序员文章站 2024-02-27 21:46:09
crawler4j对已有编码的页面抓取效果不错,用jsoup解析,很多会jquery的程序员都可以操作。但是,crawler4j对response没有指定编码的页面,解析成...

crawler4j对已有编码的页面抓取效果不错,用jsoup解析,很多会jquery的程序员都可以操作。但是,crawler4j对response没有指定编码的页面,解析成乱码,很让人烦恼。在找了苦闷之中,无意间发现一年代已久的博文,可以解决问题,修改 page.load() 中的 contentdata 编码即可,这让我心中顿时舒坦了很多,接下来的问题都引刃而解了。

复制代码 代码如下:

public void load(httpentity entity) throws exception {
 contenttype = null; 
    header type = entity.getcontenttype(); 
    if (type != null) { 
        contenttype = type.getvalue(); 
    } 

    contentencoding = null; 
    header encoding = entity.getcontentencoding(); 
    if (encoding != null) { 
        contentencoding = encoding.getvalue(); 
    } 

    charset charset = contenttype.getordefault(entity).getcharset(); 
    if (charset != null) { 
        contentcharset = charset.displayname();  
    }else{
     contentcharset = "utf-8";
    }

   //源码
   //contentdata = entityutils.tobytearray(entity); 
    //修改后的代码
    contentdata = entityutils.tostring(entity, charset.forname("gbk")).getbytes();

}