20.5网络编程--爬虫原理

网络爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分
实现过程主要分为以下几部分:

1. 有一个URl(理论上只要对方同意,可以下载任意网络资源)
2. 下载数据
3. 数据分析(会通过正则表达式)
4. 数据抽取
5. 数据清除
6. 数据存储

package study;

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;

public class Exercise {

	public static void main(String[] args) throws Exception {
//爬虫获取网络资源的基本步骤
		URL u=new URL("https://www.jd.com");
		//https可以看出http的升级版,更安全,现在大部分用这个
		InputStream i=u.openStream();
		BufferedReader b=new BufferedReader(new InputStreamReader(i, "UTF-8"));//下载资源也是通过数据流
		String s=null;
		while(null!=(s=b.readLine())) {
			System.out.println(s);//可写到文件中去
		}

	}

}