C# 抓取网页内容的方法
1、抓取一般内容
需要三个类：webrequest、webresponse、streamreader
所需命名空间：system.net、system.io
核心代码：
view plaincopy to clipboardprint?
webrequest request = webrequest.create("//www.jb51.net/");
webresponse response = request.getresponse();
streamreader reader = new streamreader(response.getresponsestream(), encoding.getencoding("gb2312"));
webrequest 类的 create 为静态方法，参数为要抓取的网页的网址；
encoding 指定编码，encoding 中有属性 ascii、utf32、utf8 等全球通用的编码，但没有 gb2312 这个编码属性，所以我们使用 getencoding 获得 gb2312 编码。
示例：
view plaincopy to clipboardprint?
<%@ page language="c#" %>
<%@ import namespace="system.net" %>
<%@ import namespace="system.io" %>
<!doctype html public "-//w3c//dtd xhtml 1.0 transitional//en" "http://www.w3.org/tr/xhtml1/dtd/xhtml1-transitional.dtd">
<mce:script runat="server"><!--
void page_load(object sender, eventargs e)
{
try
{
webrequest request = webrequest.create("//www.jb51.net/");
webresponse response = request.getresponse();
streamreader reader = new streamreader(response.getresponsestream(), encoding.getencoding("gb2312"));
tb.text = reader.readtoend();
reader.close();
reader.dispose();
response.close();
}
catch (exception ex)
{
tb.text = ex.message;
}
}
// --></mce:script>
<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
<title>抓取网页内容 - 千一网络</title>
</head>
<body>
<form id="form1" runat="server">
<div>
<asp:textbox id="tb" runat="server" width="500" height="300" textmode="multiline"></asp:textbox>
</div>
</form>
</body>
</html>
2 抓取网页内容－图片
需要四个类：webrequest、webresponse、stream、filestream。
示例：
view plaincopy to clipboardprint?
<%@ page language="c#" %>
<%@ import namespace="system.net" %>
<%@ import namespace="system.io" %>
<!doctype html public "-//w3c//dtd xhtml 1.0 transitional//en" "http://www.w3.org/tr/xhtml1/dtd/xhtml1-transitional.dtd">
<mce:script runat="server"><!--
void page_load(object sender, eventargs e)
{
try
{
webrequest request = webrequest.create("//www.jb51.net/images/logo.gif");
webresponse response = request.getresponse();
stream reader = response.getresponsestream();
filestream writer = new filestream("d://logo.gif", filemode.openorcreate, fileaccess.write);
byte[] buff = new byte[512];
int c = 0; //实际读取的字节数
while ((c=reader.read(buff, 0, buff.length)) > 0)
{
writer.write(buff, 0, c);
}
writer.close();
writer.dispose();
reader.close();
reader.dispose();
response.close();
tb.text = "保存成功！";
}
catch (exception ex)
{
tb.text = ex.message;
}
}
// --></mce:script>
<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
<title>抓取网页图片并保存 - 千一网络</title>
</head>
<body>
<form id="form1" runat="server">
<div>
<asp:textbox id="tb" runat="server" width="500" height="300" textmode="multiline"></asp:textbox>
</div>
</form>
</body>
</html>
3 抓取网页内容－post 数据
在抓取网页时，有时候，需要将某些数据通过 post 的方式发送到服务器，将以下代码添加在网页抓取的程序中，以实现将用户名和密码 post 到服务器
view plaincopy to clipboardprint?
string data = "username=admin&passwd=admin888";
byte[] requestbuffer = system.text.encoding.getencoding("gb2312").getbytes(data);
request.method = "post";
request.contenttype = "application/x-www-form-urlencoded";
request.contentlength = requestbuffer.length;
using (stream requeststream = request.getrequeststream())
{
requeststream.write(requestbuffer, 0, requestbuffer.length);
requeststream.close();
}
using (streamreader reader = new streamreader(response.getresponsestream(), encoding.getencoding("gb2312")))
{
string str = reader.readtoend();
reader.close();
}
4 抓取网页内容－防止重定向
在抓取网页时，成功登录服务器应用系统后，应用系统可能会通过 response.redirect 将网页进行重定向，如果不需要响应这个重定向，那么，我们就不要把 reader.readtoend() 给 response.write 出来，就可以了。
5 抓取网页内容－保持登录状态
利用 post 数据成功登录服务器应用系统后，就可以抓取需要登录的页面了，那么我们就可能需要在多个 request 间保持登录状态。
首先，我们要使用 httpwebrequest，而不是 webrequest。
与 webrequest 相比，变化的代码是：
view plaincopy to clipboardprint?
httpwebrequest request = (httpwebrequest)httpwebrequest.create(url);
注意：httpwebrequest.create 返回的类型仍是 webrequest，所以要转化一下。
其次，使用 cookiecontainer。
view plaincopy to clipboardprint?
system.net.cookiecontainer cc = new system.net.cookiecontainer();
request.cookiecontainer = cc;
request2.cookiecontainer = cc;
这样 request 和 request2 之间就使用了相同的 session，如果 request 登录了，那么 request2 也是登录状态。
最后，如何在不同的页面间使用同一个 cookiecontainer。
要在不同的页面间使用同一个 cookiecontainer，只有把 cookiecontainer 加入 session。
view plaincopy to clipboardprint?
session.add("ccc", cc); //存
cookiecontainer cc = (cookiecontainer)session["ccc"]; //取
5 抓取网页内容－把当前会话带到 webrequest 中
比如说浏览器 b1 去访问服务器端 s1，这会产生一个会话，而服务器端 s2 再用 webrequest 去访问服务器端 s1，这又会产生一个会话。现在的需求是让 webrequest 使用浏览器 b1 与 s1 之间的会话，也就是说要让 s1 认为是 b1 在访问 s1，而不是 s2 在访问 s1。
这就要利用 cookie 了，先在 s1 中取得与 b1 的 sessionid 的 cookie，再将这个 cookie 告诉 s2，s2 再将 cookie 写在 webrequest 中。
view plaincopy to clipboardprint?
webrequest request = webrequest.create("url");
<span class=key>request.headers.add(httprequestheader.cookie, "aspsessionidscatbtad=knndkcnbonboobihhhhaokdm;");</span>
webresponse response = request.getresponse();
streamreader reader = new streamreader(response.getresponsestream(), system.text.encoding.getencoding("gb2312"));
response.write(reader.readtoend());
reader.close();
reader.dispose();
response.close();
要说明的是：
本文并不是 cookie 欺骗，因为 sessionid 是 s1 告诉 s2 的，并不是 s2 窃取的，虽然有些古怪，但这可能在一些特定的应用系统中会有用。
s1 必须要向 b1 写 session，这样 sessionid 才会保存到 cookie 中，并且 sessionid 才会保持不变。
在 asp.net 中取 cookie 用 request.cookies，本文假设 cookie 已经取出来。
不同的服务器端语言，sessionid 在 cookie 中上名称并不一样，本文是 asp 的 sessionid。
s1 可能不仅仅依靠 sessionid 来判断当前登录，它可能还会辅助于 referer、user-agent 等，这取决于 s1 端程序的设计。
其实本文算是本连载中“保持登录状态”的另一种方法。
6 抓取网页内容－如何更改来源 referer 和 useragent
view plaincopy to clipboardprint?
span class=caution>httpwebrequest</span> request = <span class=caution>(httpwebrequest)httpwebrequest</span>.create("http://127.0.0.1/index.htm");
//request.headers.add(httprequestheader.referer, "//www.jb51.net/"); // 错误
//request.headers[httprequestheader.referer] = "//www.jb51.net/"; // 错误
<span class=caution>request.referer</span> = "//www.jb51.net/"; // 正确
注释掉的两句是不对的，会发生错误：
view plaincopy to clipboardprint?
此标头必须使用适当的属性进行修改。
参数名: name
此标头必须使用适当的属性进行修改。参数名: name
useragent 类似。