JAVA超级简单的爬虫实例讲解
程序员文章站
2024-04-02 10:26:58
爬取整个页面的数据,并进行有效的提取信息,注释都有就不废话了:
public class reptile {
public static void ma...
爬取整个页面的数据,并进行有效的提取信息,注释都有就不废话了:
public class reptile { public static void main(string[] args) { string url1=""; //传入你所要爬取的页面地址 inputstream is=null; //创建输入流用于读取流 bufferedreader br=null; //包装流,加快读取速度 stringbuffer html=new stringbuffer(); //用来保存读取页面的数据. string temp=""; //创建临时字符串用于保存每一次读的一行数据,然后html调用append方法写入temp; try { url url2 = new url(url1); //获取url; is = url2.openstream(); //打开流,准备开始读取数据; br= new bufferedreader(new inputstreamreader(is)); //将流包装成字符流,调用br.readline()可以提高读取效率,每次读取一行; while ((temp = br.readline()) != null) {//读取数据,调用br.readline()方法每次读取一行数据,并赋值给temp,如果没数据则值==null,跳出循环; html.append(temp); //将temp的值追加给html,这里注意的时string跟stringbuffere的区别前者不是可变的后者是可变的; } //system.out.println(html); //打印出爬取页面的全部代码; if(is!=null) //接下来是关闭流,防止资源的浪费; { is.close(); is=null; } document doc=jsoup.parse(html.tostring()); //通过jsoup解析页面,生成一个document对象; elements elements=doc.getelementsbyclass("xx");//通过class的名字得到(即xx),一个数组对象elements里面有我们想要的数据,至于这个div的值呢你打开浏览器按下f12就知道了; for (element element:elements) { system.out.println(element.text()); //打印出每一个节点的信息;你可以选择性的保留你想要的数据,一般都是获取个固定的索引; } } catch (malformedurlexception e) { // todo auto-generated catch block e.printstacktrace(); } catch (ioexception e) { // todo auto-generated catch block e.printstacktrace(); } }
上一张自己爬取的图片,并用fusioncharts生成报表(一般抓取的是int类型的数据的话,生成报表可以很直观)
以上这篇java超级简单的爬虫实例讲解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
上一篇: Yii2增加验证码步骤详解
下一篇: PHP 微信扫码支付源代码(推荐)