python爬虫:Requests库(一)

from mooc网络爬虫与信息提取

下面是爬虫的基本框架

import requests


def get_test_html(url):
    try:
        r = requests.get(url, timeout=30)  # 如果时间超过30则报错
        r.raise_for_status()  # 返回的是访问状态,200则成功,否则将会报错
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '发生异常'


if __name__ == '__main__':
    url = 'http://www.baidu.com'
    print(get_test_html(url))

基本方法的展示

post 提交的数据放到form表单里,如果data只是一个字符串则在data里面

requests库的一些基本方法与属性

kwargs里包含的参数

params

data

json

headers

cookies auth files 等

timeout

proxies 代理