欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

c# HttpWebRequest通过代理服务器抓取网页内容应用介绍

程序员文章站 2023-12-10 08:19:04
内网用户或代理上网的用户使用 复制代码 代码如下: using system.io; using system.net; public string get_html()...
内网用户或代理上网的用户使用
复制代码 代码如下:

using system.io;
using system.net;
public string get_html()
{
string urlstr = "http://www.domain.com"; //設定要獲取的地址
httpwebrequest hwr = (httpwebrequest)httpwebrequest.create(urlstr); //建立httpwebrequest對象
hwr.timeout = 60000; //定義服務器超時時間
webproxy proxy = new webproxy(); //定義一個網關對象
proxy.address = new uri("http://proxy.domain.com:3128"); //網關服務器:端口
proxy.credentials = new networkcredential("f3210316", "6978233"); //用戶名,密碼
hwr.usedefaultcredentials = true; //啟用網關認証
hwr.proxy = proxy; //設置網關
try
{
httpwebresponse hwrs = (httpwebresponse)hwr.getresponse(); //取得回應
}
catch
{
messagebox.show("无法连接代理!");
return;
}
//判断http响应状态
if(hwrs.statuscode != httpstatuscode.ok)
{
messagebox.show("访问失败!");
hwrs.close();
return;
}
else
{
stream s = hwrs.getresponsestream(); //得到回應的流對象
streamreader sr = new streamreader(s, encoding.utf8); //以utf-8編碼讀取流
stringbuilder content = new stringbuilder(); //
while (sr.peek() != -1) //每次讀取一行,直到
{ //下一個字節沒有內容
content.append(sr.readline()+""r"n"); //返回為止
} //
//return content.tostring() ;
}
//输出所有的header(当然包括服务器输出的cookie)
//for(int ii=0;ii<hwrs.headers.count;ii++)
//{
//messagebox.show(hwrs.headers.getkey(ii)+":"+res.headers[ii]);
//}
}

大家知道,用httpwebrequest可以通过http对网页进行抓取,但是如果是内网,而且是通过代理上网的用户,如果直接进行操作是行不通的。
那有没有什么办法呢?
当然有,呵呵,见以下代码:
复制代码 代码如下:

string urlstr = "http://www.domain.com"; //設定要獲取的地址
httpwebrequest hwr = (httpwebrequest)httpwebrequest.create(urlstr); //建立httpwebrequest對象
hwr.timeout = 60000; //定義服務器超時時間
webproxy proxy = new webproxy(); //定義一個網關對象
proxy.address = new uri("http://proxy.domain.com:3128"); //網關服務器:端口
proxy.credentials = new networkcredential("f3210316", "6978233"); //用戶名,密碼
hwr.usedefaultcredentials = true; //啟用網關認証
hwr.proxy = proxy; //設置網關
httpwebresponse hwrs = (httpwebresponse)hwr.getresponse(); //取得回應
stream s = hwrs.getresponsestream(); //得到回應的流對象
streamreader sr = new streamreader(s, encoding.utf8); //以utf-8編碼讀取流
stringbuilder content = new stringbuilder(); //
while (sr.peek() != -1) //每次讀取一行,直到
{ //下一個字節沒有內容
content.append(sr.readline()+""r"n"); //返回為止
} //
return content.tostring() ; //返回得到的字符串