crawler4j抓取页面使用jsoup解析html时的解决方法

crawler4j对已有编码的页面抓取效果不错，用jsoup解析，很多会jquery的程序员都可以操作。但是，crawler4j对response没有指定编码的页面，解析成乱码，很让人烦恼。在找了苦闷之中，无意间发现一年代已久的博文，可以解决问题，修改 page.load() 中的 contentdata 编码即可，这让我心中顿时舒坦了很多，接下来的问题都引刃而解了。

public void load(httpentity entity) throws exception {
 contenttype = null; 
    header type = entity.getcontenttype(); 
    if (type != null) { 
        contenttype = type.getvalue(); 
    } 

    contentencoding = null; 
    header encoding = entity.getcontentencoding(); 
    if (encoding != null) { 
        contentencoding = encoding.getvalue(); 
    } 

    charset charset = contenttype.getordefault(entity).getcharset(); 
    if (charset != null) { 
        contentcharset = charset.displayname();  
    }else{
     contentcharset = "utf-8";
    }

   //源码
   //contentdata = entityutils.tobytearray(entity); 
    //修改后的代码
    contentdata = entityutils.tostring(entity, charset.forname("gbk")).getbytes();

}