Python网络爬虫学习（一）

一、总述
Urllib是Python用于操纵URL的一个模块

#可以将网页中的内容全部读取出来，并将内容赋值给字符串变量data
import urllib.request
file=urllib.request.urlopen("http://www.baidu.com")
data = file.read()
print(data)

使用re模块实现python正则表达式的内容
二、手写链接爬虫实战
注意点：
1、确定好爬取入口的链接
2、建立好提取链接的表达式
3、模拟好浏览器，根据正则表达式去爬取链接地址
4、过滤掉重复链接的地址
例子：例如爬取中国科学院院士的所有院士的主页链接

import re
import urllib.request

def getlink(url):
    #模拟成浏览器
    headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36")
    opener = urllib.request.build_opener()
    opener.addheaders = [headers]
    #将opener安装为全局
    urllib.request.install_opener(opener)
    file = urllib.request.urlopen(url)
    data = str(file.read())
    #根据需求建立好连接表达式
    pat='(http://www.casad.cas.cn:80/aca/371/[^\s)";]+\.(\w|/)*)'
    link = re.compile(pat).findall(data)
    # 去除重复元素
    link = list(set(link))
    return link
# 要爬取的网页链接
url = "http://www.casad.cas.cn/chnl/371/index.html"
# 获取对应网页中包含的链接地址
linklist = getlink(url)
for link in linklist:
    print(link[0])