C#实现通过程序自动抓取远程Web网页信息的代码

通过程序自动的读取其它网站网页显示的信息，类似于爬虫程序。比方说我们有一个系统，要提取baidu网站上歌曲搜索排名。分析系统在根据得到的数据进行数据分析。为业务提供参考数据。
　　为了完成以上的需求，我们就需要模拟浏览器浏览网页，得到页面的数据在进行分析，最后把分析的结构，即整理好的数据写入数据库。那么我们的思路就是：
　　1、发送httprequest请求。
　　2、接收httpresponse返回的结果。得到特定页面的html源文件。
　　3、取出包含数据的那一部分源码。
　　4、根据html源码生成htmldocument，循环取出数据。
　　5、写入数据库。 
程序如下：　　

        //根据url地址得到网页的html源码
         private string getwebcontent(string url)
         {
             string strresult="";
             try
             {
                 httpwebrequest request = (httpwebrequest)webrequest.create(url);
　　　　//声明一个httpwebrequest请求
                 request.timeout = 30000;
                //设置连接超时时间
                 request.headers.set("pragma", "no-cache");
                 httpwebresponse response = (httpwebresponse)request.getresponse();
                 stream streamreceive = response.getresponsestream();
                 encoding encoding = encoding.getencoding("gb2312");
                 streamreader streamreader = new streamreader(streamreceive, encoding);
                 strresult = streamreader.readtoend();
             }
             catch
             {
                 messagebox.show("出错");
             }
             return strresult;
         }
为了使用httpwebrequest和httpwebresponse，需填名字空间引用
　　using system.net;

以下是程序具体实现过程：
private void button1_click(object sender, eventargs e)
         {
            //要抓取的url地址
             string url = "http://list.mp3.baidu.com/topso/mp3topsong.html?id=1#top2";

            //得到指定url的源码
　　　string strwebcontent = getwebcontent(url);

             richtextbox1.text = strwebcontent;
　　　 //取出和数据有关的那段源码
             int ibodystart = strwebcontent.indexof("<body", 0);
             int istart = strwebcontent.indexof("歌曲top500", ibodystart);
             int itablestart = strwebcontent.indexof("<table", istart);
             int itableend = strwebcontent.indexof("</table>", itablestart);
             string strweb = strwebcontent.substring(itablestart, itableend - itablestart + 8);

            //生成htmldocument
　　　webbrowser webb = new webbrowser();
             webb.navigate("about:blank");
             htmldocument htmldoc = webb.document.opennew(true);
             htmldoc.write(strweb);
             htmlelementcollection htmltr = htmldoc.getelementsbytagname("tr");
             foreach (htmlelement tr in htmltr)
             {
                 string strid = tr.getelementsbytagname("td")[0].innertext;
                 string strname = splitname(tr.getelementsbytagname("td")[1].innertext, "musicname");
                 string strsinger = splitname(tr.getelementsbytagname("td")[1].innertext, "singer");
                 strid = strid.replace(".", "");
                //插入datatable
                 addline(strid, strname, strsinger,"0");

                 string strid1 = tr.getelementsbytagname("td")[2].innertext;
                 string strname1 = splitname(tr.getelementsbytagname("td")[3].innertext, "musicname");
                 string strsinger1 = splitname(tr.getelementsbytagname("td")[3].innertext, "singer");
                //插入datatable
                 strid1 = strid1.replace(".", "");
                 addline(strid1, strname1, strsinger1,"0");

                 string strid2 = tr.getelementsbytagname("td")[4].innertext;
                 string strname2 = splitname(tr.getelementsbytagname("td")[5].innertext, "musicname");
                 string strsinger2 = splitname(tr.getelementsbytagname("td")[5].innertext, "singer");
                //插入datatable
                 strid2 = strid2.replace(".", "");
                 addline(strid2, strname2, strsinger2,"0");

             }
            //插入数据库
             insertdata(dt);
　　　
             datagridview1.datasource = dt.defaultview;
}