欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python数据抓取_BeautifulSoup模块的使用

程序员文章站 2022-07-24 15:34:19
在数据抓取的过程中,我们往往都需要对数据进行处理 本篇文章我们主要来介绍python的HTML和XML的分析库BeautifulSoup BeautifulSoup 的官方文档网站如下 https://www.crummy.com/software/BeautifulSoup/bs4/doc/ Be ......

在数据抓取的过程中,我们往往都需要对数据进行处理

本篇文章我们主要来介绍python的HTML和XML的分析库BeautifulSoup

 

BeautifulSoup 的官方文档网站如下

https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 

Python数据抓取_BeautifulSoup模块的使用

 

 

BeautifulSoup可以在HTML和XML的结构化文档中抽取出数据,而且还提供了各类方法,可以很方便的对文档进行搜索、抽取和修改,能极大的提高我们数据挖掘的效率

下面我们来安装BeautifulSoup

Python数据抓取_BeautifulSoup模块的使用

(上面我已经安装过了,所以没有显示进度条)

非常简单,无非就是pip install 加安装的包名

pip3 install bs4

 

 

下面我们开始正式来学习这个模块

首先还是提供一个目标网址

我的个人网站

http://www.susmote.com

Python数据抓取_BeautifulSoup模块的使用

 

下面我们通过requests的get方法保存这个网址内容的源代码

import requests

urls = "http://www.susmote.com"

resp = requests.get(urls)
resp.encoding = "utf8"
content = resp.text

with open("Bs4_test.html", 'w', encoding="utf8") as f:
    f.write(content)

 运行起来,我们马上就能得到这个网页的源代码了 

Python数据抓取_BeautifulSoup模块的使用

 

下面我们写的程序就是专门针对这个源代码利用BeautifulSoup来分析

首先我们来获取里面所有的a标签的href链接和对应的文本

代码如下

from bs4 import BeautifulSoup
with open("Bs4_test.html", 'r', encoding='utf8') as f:
    bs = BeautifulSoup(f.read())
    a_list = bs.find_all('a')
    for a in a_list:
        if a.text != "":
            print(a.text.strip(), a["href"]) 

 首先我们从BS4里面导入BeautifulSoup

然后以只读模式打开文件打开文件,我们把f.read()作为BeautifulSoup的参数,也就是将字符串初始化,把返回的对象记为bs

然后我们就可以调用BeautifulSoup的方法了,BeautifulSoup的最常用的方法就是find和find_all,可以在文档中找到符合条件的元素,区别就是找到一个,和找到所有

在这里我们使用find_all方法,他的常用形式是

元素列表 = bs.find_all(元素名称, attires = {属性名:属性值})

 

然后就是依次输出找到的元素,这里就不多说 了

我们在命令行运行这段代码 

Python数据抓取_BeautifulSoup模块的使用

输出结果如下 

Python数据抓取_BeautifulSoup模块的使用

找寻的结果太多,不一一呈现

 

可以看到爬取的链接其中有很多规律

例如标签链接

我们可以对代码进行稍微的更改,以获取网站所有的标签链接,也就是做一个过滤

代码如下

from bs4 import BeautifulSoup
with open("Bs4_test.html", 'r', encoding='utf8') as f:
    bs = BeautifulSoup(f.read(), "lxml")
    a_list = bs.find_all('a')
    for a in a_list:
        if a.text != "" and 'tag' in a["href"]:
            print(a.text.strip(), a["href"]) 

 大致内容没有改变,只是在输出前加了一个判定条件,以实现过滤

我们在命令行运行这个程序 

Python数据抓取_BeautifulSoup模块的使用

结果如下 

Python数据抓取_BeautifulSoup模块的使用

 

除了这样,你还可以使用很多方法达到相同的目标

使用attrs = [ 属性名 : 属性值 ] 参数

属性名我相信学过html的人一定都知道,例如"class","id"、"style"都是属性,下面我们逐步深入,利用这个来深入挖掘数据

获取我的博客网站中每篇文章的标题

经过浏览器调试,我们很容易获取到我的博客网页中标题部分的属性样式

如下图

Python数据抓取_BeautifulSoup模块的使用

 

 标题样式是一个<header class="post-header">

非常简单的一个属性

下面我们通过代码来实现批量获取文章标题

# coding=utf-8
__Author__ = "susmote"

from bs4 import BeautifulSoup
n = 0
with open("Bs4_test.html", 'r', encoding='utf8') as f:
    bs = BeautifulSoup(f.read(), "lxml")
    header_list = bs.find_all('header', attrs={'class': 'post-header'})
    for header in header_list:
        n = int(n)
        n += 1
        if header.text != "":
            print(str(n) + ":  " + header.text.strip() + "\n") 

 大体上跟之前的代码没什么差别,只是在find_all方法中多加了一个参数,attrs以实现属性过滤,然后为了使结果更清晰,我加了一个n

在命令行下运行,结果如下 

Python数据抓取_BeautifulSoup模块的使用

 

 

利用正则表达式来表达属性值的特征

无非就是在属性值后面加一个正则匹配的方法,我在这就不过多解释了,如果想要了解,可以自行上网百度

 

我的博客网站 www.susmote.com