C# 访问网页并对页面上的元素进行抓取

程序员文章站 2022-03-13 09:06:53

C# 访问网页并对页面上的元素进行抓取第一步请求页面新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入第一步请求页面//HttpWebRequest request=HttpWebRequest.Create(“UR...

C# 访问网页并对页面上的元素进行抓取

//
HttpWebRequest request=HttpWebRequest.Create(“URL”) AS HttpWebRequest;

//设置访问页面的标头
request.Method = “get”;//通过get方式访问
//在需访问的页面F12,Network下的Headers中可以查看
request.Accept = “”;
request.ContentType = “”;
request.UserAgent = “”;

HttpWebResponse response = request.GetResponse() as HttpWebResponse;

StreamReader steamReader=new SteamReader(response.GetResponseStream());

//如果请求下来的页面是zip格式
Stream ResStream = new System.IO.Compression.GZipStream(response.GetResponseStream(), System.IO.Compression.CompressionMode.Decompress);
Encoding encoding = Encoding.GetEncoding(“utf-8”);
StreamReader streamReader = new StreamReader(ResStream, encoding);

//请求下来的HTML页面
String data=stream.ReadToEnd();

//以携程网主页房间数为例

C# 访问网页并对页面上的元素进行抓取

        Hashtable hashtable = new Hashtable();// 网页中元素对象
        var htmlDoc = new HtmlAgilityPack.HtmlDocument();
        htmlDoc.LoadHtml(data);//解析
         
        HtmlNode token = htmlDoc.DocumentNode.SelectSingleNode(Xpath);
        
        List<String> li = new List<string>();
        
		//遍历其中符合条件的数据
        foreach (HtmlNode row in token.SelectNodes("option"))
        {
            li.Add(row.InnerHtml);
        }
        
        String aa=string.Empty;
        for (int i=0;i<li.Count;i++) {
            aa += li[i]+ "\r\n";
        }

//显示爬取下来的数据aa
C# 访问网页并对页面上的元素进行抓取

本文地址：https://blog.csdn.net/m0_50559891/article/details/113685177