android使用Jsoup 抓取页面的数据
程序员文章站
2024-03-03 19:43:16
jsoup 是一款java 的html解析器，可直接解析某个url地址、html文本内容。它提供了一套非常省力的api，可通过dom，css以及类似于jquery的操作方法...
jsoup 是一款java 的html解析器，可直接解析某个url地址、html文本内容。它提供了一套非常省力的api，可通过dom，css以及类似于jquery的操作方法来取出和操作数据。
jsoup的官方中文地址：
在这个网站上你可以找到一些说明，.jar文件的下载，doc文档的说明等等
jsoup的主要功能如下：
- 从一个url，文件或字符串中解析html；
- 使用dom或css选择器来查找、取出数据；
- 可操作html元素、属性、文本；
jsoup是基于mit协议发布的，可放心使用于商业项目。
jsoup类下面的方法都是静态可直接调用。几个方法的说明
connect()方法，获得一个connection，然后调用connection对象get()方法获得document对象。然后再解析document对象 connection提供了一些设置方法timeout(),url()等等
这里贴一下我用到的 java工程的测试代码
package com.javen.jsoup;
import java.io.ioexception;
import org.jsoup.jsoup;
import org.jsoup.nodes.document;
import org.jsoup.nodes.element;
import org.jsoup.select.elements;
public class jsouptest {
static string url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html";
/**
* @param args
* @throws exception
*/
public static void main(string[] args) throws exception {
// todo auto-generated method stub
bolgbody();
//test();
//blog();
/*
* document doc = jsoup.connect("//www.jb51.net/")
* .data("query", "java") // 请求参数 .useragent("i ' m jsoup") // 设置
* user-agent .cookie("auth", "token") // 设置 cookie .timeout(3000) //
* 设置连接超时时间 .post();
*/// 使用 post 方法访问 url
/*
* // 从文件中加载 html 文档 file input = new file("d:/test.html"); document doc
* = jsoup.parse(input,"utf-8","//www.jb51.net/");
*/
}
/**
* 获取指定html 文档指定的body
* @throws ioexception
*/
private static void bolgbody() throws ioexception {
// 直接从字符串中输入 html 文档
string html = "<html><head><title> 开源中国社区 </title></head>"
+ "<body><p> 这里是 jsoup 项目的相关文章 </p></body></html>";
document doc = jsoup.parse(html);
system.out.println(doc.body());
// 从 url 直接加载 html 文档
document doc2 = jsoup.connect(url).get();
string title = doc2.body().tostring();
system.out.println(title);
}
/**
* 获取博客上的文章标题和链接
*/
public static void article() {
document doc;
try {
doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
elements listdiv = doc.getelementsbyattributevalue("class","posttitle");
for (element element :listdiv) {
elements links = element.getelementsbytag("a");
for (element link : links) {
string linkhref = link.attr("href");
string linktext = link.text().trim();
system.out.println(linkhref);
system.out.println(linktext);
}
}
} catch (ioexception e) {
// todo auto-generated catch block
e.printstacktrace();
}
}
/**
* 获取指定博客文章的内容
*/
public static void blog() {
document doc;
try {
doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
elements listdiv = doc.getelementsbyattributevalue("class","postbody");
for (element element :listdiv) {
system.out.println(element.html());
}
} catch (ioexception e) {
// todo auto-generated catch block
e.printstacktrace();
}
}
}
下面来介绍android中使用jsoup异步解析网页的数据 请注意： 这里很容易遇到一个乱码的问题
配置文件：androidmanifest.xml中加 权限
<uses-permission android:name="android.permission.internet"></uses-permission>
layout的布局文件
<linearlayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:orientation="vertical" >
<webview
android:id="@+id/webview"
android:layout_width="fill_parent"
android:layout_height="200dp" />
<scrollview
android:layout_width="wrap_content"
android:layout_height="wrap_content" >
<textview
android:id="@+id/textview"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:text="@string/hello_world" />
</scrollview>
</linearlayout>
主要异步加载数据的代码
package com.javen.aaa;
import java.io.bufferedreader;
import java.io.ioexception;
import java.io.inputstreamreader;
import java.net.url;
import org.jsoup.jsoup;
import org.jsoup.nodes.document;
import org.jsoup.nodes.element;
import org.jsoup.select.elements;
import android.app.activity;
import android.app.dialog;
import android.app.progressdialog;
import android.os.asynctask;
import android.os.bundle;
import android.util.log;
import android.webkit.webview;
import android.widget.textview;
public class mainactivity extends activity {
private webview webview;
private textview textview;
private static final int dialog_key = 0;
@override
protected void oncreate(bundle savedinstancestate) {
super.oncreate(savedinstancestate);
setcontentview(r.layout.main);
webview = (webview) findviewbyid(r.id.webview);
textview=(textview) findviewbyid(r.id.textview);
try {
progressasynctask asynctask=new progressasynctask(webview,textview);
asynctask.execute(10000);
} catch (exception e) {
// todo auto-generated catch block
e.printstacktrace();
}
}
public string test() {
stringbuffer buffer=new stringbuffer();
document doc;
try {
doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
elements listdiv = doc.getelementsbyattributevalue("class","posttitle");
for (element element :listdiv) {
elements links = element.getelementsbytag("a");
for (element link : links) {
string linkhref = link.attr("href");
string linktext = link.text().trim();
buffer.append("linkhref=="+linkhref);
buffer.append("linktext=="+linktext);
system.out.println(linkhref);
system.out.println(linktext);
}
}
} catch (ioexception e) {
// todo auto-generated catch block
e.printstacktrace();
}
return buffer.tostring();
}
// 弹出"查看"对话框
@override
protected dialog oncreatedialog(int id) {
switch (id) {
case dialog_key: {
progressdialog dialog = new progressdialog(this);
dialog.setmessage("获取数据中 请稍候...");
dialog.setindeterminate(true);
dialog.setcancelable(true);
return dialog;
}
}
return null;
}
public static string readhtml(string myurl) {
stringbuffer sb = new stringbuffer("");
url url;
try {
url = new url(myurl);
bufferedreader br = new bufferedreader(new inputstreamreader(url.openstream(), "gbk"));
string s = "";
while ((s = br.readline()) != null) {
sb.append(s + "\r\n");
}
} catch (exception e) {
e.printstacktrace();
}
return sb.tostring();
}
class progressasynctask extends asynctask<integer, integer, string> {
private webview webview;
private textview textview;
public progressasynctask(webview webview,textview textview) {
super();
this.webview=webview;
this.textview=textview;
}
/**
* 这里的integer参数对应asynctask中的第一个参数 这里的string返回值对应asynctask的第三个参数
* 该方法并不运行在ui线程当中，主要用于异步操作，所有在该方法中不能对ui当中的空间进行设置和修改
* 但是可以调用publish progress方法触发onprogressupdate对ui进行操作
*/
@override
protected string doinbackground(integer... params) {
string str =null;
document doc = null;
try {
// string url ="http://www.cnblogs.com/zyw-205520/p/3355681.html";
//
// doc= jsoup.parse(new url(url).openstream(),"utf-8", url);
// //doc = jsoup.parse(readhtml(url));
// //doc=jsoup.connect(url).get();
// str=doc.body().tostring();
doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
elements listdiv = doc.getelementsbyattributevalue("class","postbody");
for (element element :listdiv) {
str=element.html();
system.out.println(element.html());
}
log.d("doinbackground", str.tostring());
system.out.println(str);
//你可以试试gbk或utf-8
} catch (exception e) {
// todo auto-generated catch block
e.printstacktrace();
}
return str.tostring() ;
//return test();
}
/**
* 这里的string参数对应asynctask中的第三个参数（也就是接收doinbackground的返回值）
* 在doinbackground方法执行结束之后在运行，并且运行在ui线程当中 可以对ui空间进行设置
*/
@override
protected void onpostexecute(string result) {
webview.loaddata(result, "text/html;charset=utf-8", null);
textview.settext(result);
removedialog(dialog_key);
}
// 该方法运行在ui线程当中,并且运行在ui线程当中 可以对ui空间进行设置
@override
protected void onpreexecute() {
showdialog(dialog_key);
}
/**
* 这里的intege参数对应asynctask中的第二个参数
* 在doinbackground方法当中，，每次调用publishprogress方法都会触发onprogressupdate执行
* onprogressupdate是在ui线程中执行，所有可以对ui空间进行操作
*/
@override
protected void onprogressupdate(integer... values) {
}
}
}
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
下一篇： Java的NIO与IO的详解及对比