欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

python爬虫--03 Beautiful Soup库

程序员文章站 2022-07-10 13:58:33
...

1 库介绍

简介

Beautiful Soup库是解析、遍历、维护“标签树”的功能库

安装

pip install beautifulsoup4

使用

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>', 'html.parser')
soup2 = BeautifulSoup(open('D://demo.html'), 'html.parser')

2 BeautifulSoup解析器

bs4的HTML解析器:BeautifulSoup(mk,'html.parser')--安装bs4库
lxml的HTML解析器:BeautifulSoup(mk,'lxml')--pip install lxml
lxml的XML解析器:BeautifulSoup(mk,'xml')--pip install lxml
html5lib的解析器:BeautifulSoup(mk,'html5lib')--pip install html5lib

3 BeautifulSoup类基本元素

Tag:标签,最基本的信息组织单元,分别用<>和</>标明开头和结尾
Name:标签的名字,<p>…</p>的名字是'p',格式:<tag>.name
Attributes:标签的属性,字典形式组织,格式:<tag>.attrs
NavigableString:标签内非属性字符串,<>…</>中字符串,格式:<tag>.string
Comment:标签内字符串的注释部分,一种特殊的Comment类型
import requests
from bs4 import BeautifulSoup
url = 'http://python123.io/ws/demo.html'
r =requests.get(url)
demo = r.text
soup = BeautifulSoup(demo,'html.parser')
print(soup.a)  ## 标签
print(soup.a.parent.parent.name)  ## 标签的爷爷标签名
print(soup.a.attrs) ## 属性字典
print(soup.a.string)  ## 标签内字符串
print(soup.a.comment)  ## 注释
print(type(soup.a.string))  ## 标签内字符串

 ><a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>
 >body
 >{'href': 'http://www.icourse163.org/course/BIT-268001', 'class': ['py1'], 'id': 'link1'}
 >Basic Python
 >None
 ><class 'bs4.element.NavigableString'>

4 标签树遍历

下行遍历

.contents:子节点的列表,将<tag>所有儿子节点存入列表
.children:子节点的迭代类型,与.contents类似,用于循环遍历儿子节点
.descendants:子孙节点的迭代类型,包含所有子孙节点,用于循环遍历

上行遍历

.parent:节点的父亲标签
.parents:节点先辈标签的迭代类型,用于循环遍历先辈节点

平行遍历

.next_sibling:返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling:返回按照HTML文本顺序的上一个平行节点标签
.next_siblings:迭代类型,返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings:迭代类型,返回按照HTML文本顺序的前续所有平行节点标签

遍历代码

print(soup.head.contents)   ##返回列表
print(soup.body.contents[1])
for child in soup.body.descendants:  ## 遍历子孙节点
  print(child)

for parent in soup.a.parents:
    if parent is None:    ##遍历所有先辈节点,包括soup本身(空),所以要区别判断
        print(parent)
    else:
        print(parent.name)

5 prettify()方法

.prettify()为HTML文本<>及其内容增加更加'\n'
.prettify()可用于标签,方法:<tag>.prettify()
import requests
from bs4 import BeautifulSoup
url = 'http://python123.io/ws/demo.html'
r =requests.get(url)
# demo = r.text
soup = BeautifulSoup(r.text,'html.parser')
print(soup.prettify())

6 bs4库的编码

bs4库将任何HTML输入都变成utf‐8编码