欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

一起学爬虫(Python)

程序员文章站 2022-07-03 20:30:01
今天要学会爬requests模块什么是requests模块如何安装requests模块怎么用requests模块实战!requests模块什么是requests模块大家好鸭,今天是写博客的第二天,昨天写的结果只有不几个人看了呢,不过还有两个小伙伴点赞了,真的是万分感谢!!!希望各位看客能多多提意见还有提问题哦,小泽都会努力解答的~咳咳,开始今天的正题:requests模块。如果学过python基础的话就会知道模块是个什么东西,没有学过直接来这里看的呢,也应该大致知道模块是个什么东东,就是类似于...

requests模块

什么是requests模块

大家好鸭,今天是写博客的第二天,昨天写的结果只有不几个人看了呢,不过还有两个小伙伴点赞了,真的是万分感谢!!!
一起学爬虫(Python)

希望各位看客能多多提意见还有提问题哦,小泽都会努力解答的~
咳咳,开始今天的正题:requests模块。
如果学过python基础的话就会知道模块是个什么东西,没有学过直接来这里看的呢,也应该大致知道模块是个什么东东,就是类似于数学公式的存在,不需要繁琐的计算,直接套用公式的那种感觉。
那么,什么是requests模块呢?
python自带的一款基于网络请求的模块,功能强大,效率极高!
一个字,牛逼!!
总之你不会写不理解的东东,这个模块统统都给你解决喽,你只需要一句话,一个词就可以直接调用一大堆神奇的指令~

如何安装requests模块

环境安装:

    pip install requests

一起学爬虫(Python)

一起学爬虫(Python)
我的系统是win7的,不过推荐各位用win10系统,在下是因为贫穷…咳咳,还有如果用的是pycharm的话,安装模块要在……
一起学爬虫(Python)
一起学爬虫(Python)
找到上图所示的目录Project–>Project interpreter,然后点击右上角的加号。
一起学爬虫(Python)
搜索requests,然后点击左下角的install Package进行下载,成功了下面会提示你绿了(有个绿条条)
这里我已经下载过了,所以各位自行下载吧~

怎么用requests模块

如果上面的步骤都准备好了,那么恭喜你,可以开始爬了!
当然可能会有些小伙伴会报错呀报错呀报错呀之类的,没事,把问题留言一下,小泽看到了会及时回复的~
那么,光看不做可不行,知道了理论知识,也要会实践,对吧。
在那之前先了解一下requests模块干事的四个步骤,然后敲代码的时候要想着这四个步骤,一步一步来,稳住,不要浪!
1.指定url(发现敌军位置)
2.发起请求(请求使用意大利炮)
3.获取响应数据(开炮!)
4.持久化存储(收拾战场)

后面的比喻可能不那么精准哈…不过大概意思就是这样,要知道,requests模块是模拟我们去上网,所以要从我们自己的角度去给requests模块施加命令,不能一步登天哈。

实战!

首先啊,不管干什么,要先记住一件事,导入模块!

#导入requests模块
import requests

1.指定url
那我们随便找一个网站去试一试,随便找啊,比如说百度吧。
www.baidu.com

#1:指定url
url='https://www.baidu.com/'

各位会不会觉得百度很厉害,一定爬不下来?
给我爬!
一起学爬虫(Python)

#2:发起请求(get方法会返回一个响应对象)
response = requests.get(url=url)

这一步大家应该都看得懂吧,requests.get()是一个方法,里面要指定url,爬也得爬对地方对吧。response则是接受了requests.get()方法爬取回来的数据,就是响应对象,很专业的名词啊,但是没关系,知道就好了。

#3:获取响应数据
page_text = response.text

到了第三步喽,这个时候已经爬回东西来了,进去了又出来,那还进不进去都无所谓了,毕竟东西已经爬到了,接下来就是把这个东西转换成我们能看得懂的数据,当然你也可以自己把response打印一下,看一看对吧,要多动手实践才能知道为什么要这么做的,不要光我说什么就是什么了。
.text就是把response转换成了文本格式,然后又把数据给了page_text,这里为什么要用page_text呢,因为高级啊!别人看不懂就会显得很高级~

#4:持久化存储
with open('./baidu.html','w',encoding='utf-8') as fp:
 fp.write(page_text)
print('爬完了')

最后一步,把我们爬取到的东西保存下来,这个大家应该都能理解,突然觉得很简单吧,这就是爬虫!
但是程序员会让你这么简单的爬下来吗那些重要数据吗?答案肯定是No!所以为了爬取美女图片,我们要更加努力学习!
明天,我们就来使自己更强大!
至少得爬取到我们想要的东西,对吧。
那今天就到这里啦,各位看官早点睡吧,晚安~
一起学爬虫(Python)

本文地址:https://blog.csdn.net/BcXbHello/article/details/110200611