Jsoup 抓取页面的数据实例详解
程序员文章站
2024-02-23 20:49:10
jsoup 抓取页面的数据
需要使用的是jsoup-1.7.3.jar包 如果需要看文档我下载请借一步到官网:http://jsoup.org/...
jsoup 抓取页面的数据
需要使用的是jsoup-1.7.3.jar包 如果需要看文档我下载请借一步到官网:http://jsoup.org/
这里贴一下我用到的 java工程的测试代码
package com.javen.jsoup; import java.io.ioexception; import org.jsoup.jsoup; import org.jsoup.nodes.document; import org.jsoup.nodes.element; import org.jsoup.select.elements; public class jsouptest { static string url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html"; /** * @param args * @throws exception */ public static void main(string[] args) throws exception { // todo auto-generated method stub bolgbody(); //test(); //blog(); /* * document doc = jsoup.connect("http://www.oschina.net/") * .data("query", "java") // 请求参数 .useragent("i ' m jsoup") // 设置 * user-agent .cookie("auth", "token") // 设置 cookie .timeout(3000) // * 设置连接超时时间 .post(); */// 使用 post 方法访问 url /* * // 从文件中加载 html 文档 file input = new file("d:/test.html"); document doc * = jsoup.parse(input,"utf-8","http://www.oschina.net/"); */ } /** * 获取指定html 文档指定的body * @throws ioexception */ private static void bolgbody() throws ioexception { // 直接从字符串中输入 html 文档 string html = "<html><head><title> 开源中国社区 </title></head>" + "<body><p> 这里是 jsoup 项目的相关文章 </p></body></html>"; document doc = jsoup.parse(html); system.out.println(doc.body()); // 从 url 直接加载 html 文档 document doc2 = jsoup.connect(url).get(); string title = doc2.body().tostring(); system.out.println(title); } /** * 获取博客上的文章标题和链接 */ public static void article() { document doc; try { doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/").get(); elements listdiv = doc.getelementsbyattributevalue("class","posttitle"); for (element element :listdiv) { elements links = element.getelementsbytag("a"); for (element link : links) { string linkhref = link.attr("href"); string linktext = link.text().trim(); system.out.println(linkhref); system.out.println(linktext); } } } catch (ioexception e) { // todo auto-generated catch block e.printstacktrace(); } } /** * 获取指定博客文章的内容 */ public static void blog() { document doc; try { doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get(); elements listdiv = doc.getelementsbyattributevalue("class","postbody"); for (element element :listdiv) { system.out.println(element.html()); } } catch (ioexception e) { // todo auto-generated catch block e.printstacktrace(); } } }
下面来介绍android中使用jsoup异步解析网页的数据 请注意: 这里很容易遇到一个乱码的问题
1.配置文件:
androidmanifest.xml中加 权限 <uses-permission android:name="android.permission.internet"></uses-permission>
2.layout的布局文件
<linearlayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" android:layout_width="match_parent" android:layout_height="match_parent" android:orientation="vertical" > <webview android:id="@+id/webview" android:layout_width="fill_parent" android:layout_height="200dp" /> <scrollview android:layout_width="wrap_content" android:layout_height="wrap_content" > <textview android:id="@+id/textview" android:layout_width="wrap_content" android:layout_height="wrap_content" android:text="@string/hello_world" /> </scrollview> </linearlayout>
主要异步加载数据的代码
package com.javen.aaa; import java.io.bufferedreader; import java.io.ioexception; import java.io.inputstreamreader; import java.net.url; import org.jsoup.jsoup; import org.jsoup.nodes.document; import org.jsoup.nodes.element; import org.jsoup.select.elements; import android.app.activity; import android.app.dialog; import android.app.progressdialog; import android.os.asynctask; import android.os.bundle; import android.util.log; import android.webkit.webview; import android.widget.textview; public class mainactivity extends activity { private webview webview; private textview textview; private static final int dialog_key = 0; @override protected void oncreate(bundle savedinstancestate) { super.oncreate(savedinstancestate); setcontentview(r.layout.main); webview = (webview) findviewbyid(r.id.webview); textview=(textview) findviewbyid(r.id.textview); try { progressasynctask asynctask=new progressasynctask(webview,textview); asynctask.execute(10000); } catch (exception e) { // todo auto-generated catch block e.printstacktrace(); } } public string test() { stringbuffer buffer=new stringbuffer(); document doc; try { doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/").get(); elements listdiv = doc.getelementsbyattributevalue("class","posttitle"); for (element element :listdiv) { elements links = element.getelementsbytag("a"); for (element link : links) { string linkhref = link.attr("href"); string linktext = link.text().trim(); buffer.append("linkhref=="+linkhref); buffer.append("linktext=="+linktext); system.out.println(linkhref); system.out.println(linktext); } } } catch (ioexception e) { // todo auto-generated catch block e.printstacktrace(); } return buffer.tostring(); } // 弹出"查看"对话框 @override protected dialog oncreatedialog(int id) { switch (id) { case dialog_key: { progressdialog dialog = new progressdialog(this); dialog.setmessage("获取数据中 请稍候..."); dialog.setindeterminate(true); dialog.setcancelable(true); return dialog; } } return null; } public static string readhtml(string myurl) { stringbuffer sb = new stringbuffer(""); url url; try { url = new url(myurl); bufferedreader br = new bufferedreader(new inputstreamreader(url.openstream(), "gbk")); string s = ""; while ((s = br.readline()) != null) { sb.append(s + "\r\n"); } } catch (exception e) { e.printstacktrace(); } return sb.tostring(); } class progressasynctask extends asynctask<integer, integer, string> { private webview webview; private textview textview; public progressasynctask(webview webview,textview textview) { super(); this.webview=webview; this.textview=textview; } /** * 这里的integer参数对应asynctask中的第一个参数 这里的string返回值对应asynctask的第三个参数 * 该方法并不运行在ui线程当中,主要用于异步操作,所有在该方法中不能对ui当中的空间进行设置和修改 * 但是可以调用publish progress方法触发onprogressupdate对ui进行操作 */ @override protected string doinbackground(integer... params) { string str =null; document doc = null; try { // string url ="http://www.cnblogs.com/zyw-205520/p/3355681.html"; // // doc= jsoup.parse(new url(url).openstream(),"utf-8", url); // //doc = jsoup.parse(readhtml(url)); // //doc=jsoup.connect(url).get(); // str=doc.body().tostring(); doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get(); elements listdiv = doc.getelementsbyattributevalue("class","postbody"); for (element element :listdiv) { str=element.html(); system.out.println(element.html()); } log.d("doinbackground", str.tostring()); system.out.println(str); //你可以试试gbk或utf-8 } catch (exception e) { // todo auto-generated catch block e.printstacktrace(); } return str.tostring() ; //return test(); } /** * 这里的string参数对应asynctask中的第三个参数(也就是接收doinbackground的返回值) * 在doinbackground方法执行结束之后在运行,并且运行在ui线程当中 可以对ui空间进行设置 */ @override protected void onpostexecute(string result) { webview.loaddata(result, "text/html;charset=utf-8", null); textview.settext(result); removedialog(dialog_key); } // 该方法运行在ui线程当中,并且运行在ui线程当中 可以对ui空间进行设置 @override protected void onpreexecute() { showdialog(dialog_key); } /** * 这里的intege参数对应asynctask中的第二个参数 * 在doinbackground方法当中,,每次调用publishprogress方法都会触发onprogressupdate执行 * onprogressupdate是在ui线程中执行,所有可以对ui空间进行操作 */ @override protected void onprogressupdate(integer... values) { } } }
感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!