欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

爬虫初阶(三)--数据处理

程序员文章站 2024-01-10 15:11:58
...

1.数据分类

  • 在抓取某个网站或者某个应用的内容时,内容一般分为两部分,非结构化的数据和结构化的数据。

1.1 非结构化的数据处理

  • 文本、电话号码、邮箱地址
    – 正则表达式
  • HTML 文件
    – 正则表达式
    – XPath
    – CSS选择器

1.2 结构化的数据处理

  • JSON 文件
    – JSON Path
    – 转化成Python类型进行操作(json类)
  • XML 文件
    – 转化成Python类型(xmltodict)
    – XPath
    – CSS选择器
    – 正则表达式

2.数据处理–JSON

2.1 什么是JSON

  • JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景,比如网站前端与后台之间的数据交互。

2.2 数据转化

json.loads 方法
json.dumps 方法
json字符串
python字典
json.load 方法
json.dump 方法
包含json的类文件对象
python字典
2.2.1 json.loads()把json字符串转化为python字典
import requests
from pprint import pprint  # 格式化输出

url = "https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=50&page_start=0"
html_str = requests.get(url).content.decode()

ret1 = json.loads(html_str)
pprint(ret1)
print(type(ret1))  # <class 'dict'>
2.2.2 json.dumps()把python字典转化为json字符串
ret2 = json.dumps(ret1, ensure_ascii=False, indent=2)  # 添加解码, 缩进格式化
print(ret2)
print(type(ret2))  # <class 'str'>
2.2.3 json.load()提取类文件对象中的json字符串, 转化为python字典
with open('douban.json', 'w') as f:
    f.write(json.dumps(ret2)
with open('douban.json', 'r', encoding='utf-8') as f:
    ret3 = json.load(f)
    print(ret3)
    print(type(ret3))  # <class 'dict'>
2.2.4 json.dump()能够把python字典转化为json字符串放入类文件对象中
with open('douban1.json', 'w', encoding='utf-8') as f:
    json.dump(ret1, f, ensure_ascii=False ,indent=2)

3.数据处理–XPATH和LXML类库

  • lxml是一款高性能的 Python HTML/XML 解析器,可以利用XPath,来快速的定位特定元素以及获取节点信息。
  • XPath (XML Path Language) 是一门在 HTML\XML 文档中查找信息的语言,
    可用来在 HTML\XML 文档中对元素和属性进行遍历。

3.1 XPATH节点选择语法

常用路径表达式:

表达式 描述
nodename 选取此节点的所有子节点
/ 从根节点选取
// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置
. 选取当前节点
选取当前节点的父节点
@ 选取属性

栗子:

路径表达式 结果
bookstore 选取 bookstore 元素的所有子节点
/bookstore 选取根元素 bookstore。注释:假如路径起始于正斜杠( / ),则此路径始终代表到某元素的绝对路径
bookstore/book 选取属于 bookstore 的子元素的所有 book 元素
//book 选取所有 book 子元素,而不管它们在文档中的位置
bookstore//book 选择属于 bookstore 元素的后代的所有 book 元素,而不管它们位于 bookstore 之下的什么位置
//@lang 选取名为 lang 的所有属性
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素
/bookstore/book[position() < 3] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素
//title[@lang] 选取所有拥有名为 lang 的属性的 title 元素
//title[@lang=‘eng’] 选取所有 title 元素,且这些元素拥有值为 eng 的 lang 属性
/bookstore/book[price > 35.00] 选取 bookstore 元素的所有 book 元素,且其中的 price 元素的值须大于 35.00
/bookstore/book[price > 35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值须大于 35.00

选取未知节点:

通配符 描述
* 匹配任何元素节点
@* 匹配任何属性节点
node() 匹配任何类型的节点

栗子:

路径表达式 结果
/bookstore/* 选取 bookstore 元素的所有子元素
//* 选取文档中的所有元素
html/node()/meta/@* 选择html下面任意节点下的meta节点的所有属性
//title[@*] 选取所有带有属性的 title 元素

选取多个路径:

路径表达式 结果
//book/title | //book/price 选取 book 元素的所有 title 和 price 元素
//title | //price 选取文档中的所有 title 和 price 元素
/bookstore/book/title | //price 选取属于 bookstore 元素的 book 元素的所有 title 元素,以及文档中所有的 price 元素

3.2 lxml库

  1. 导入lxml 的 etree 库
  2. 利用etree.HTML,将字符串转化为Element对象
  3. Element对象具有xpath的方法
from lxml import etree

text = ''' <div> <ul> 
        <li class="item-1"><a>first item</a></li> 
        <li class="item-1"><a href="link2.html">second item</a></li> 
        <li class="item-inactive"><a href="link3.html">third item</a></li> 
        <li class="item-1"><a href="link4.html">fourth item</a></li> 
        <li class="item-0"><a href="link5.html">fifth item</a>  
        </ul> </div> '''
        
html = etree.HTML(text)
print(html)  # <Element html at 0x7f9d5c691bc8>

# 查看element对象中包含的字符串
# lxml能够修正HTML代码,但是可能会改错了,使用etree.tostring观察修改之后的html的样子,根据修改之后的html字符串写xpath
print(etree.tostring(html).decode())

# 获取class为item-1下的href
ret = html.xpath("//li[@class='item-1']/a/@href")
print(ret)

# 获取class为item-1下的文本
ret2 = html.xpath("//li[@class='item-1']/a/text()")
print(ret2)

# 每一个li是一条新闻,把url和文本组成字典
item = dict()
for href in ret:
    item["href"] = href
    item["title"] = ret2[ret.index(href)]
    print(item)

print("*"*20)
# 根据li标签进行分组, 对每一组继续写xpath
ret3 = html.xpath("//li[@class='item-1']")
print(ret3)
item2 = dict()
for i in ret3:
    item2["title"] = i.xpath("./a/text()")[0] if len(i.xpath("./a/text()"))>0 else None
    item2["href"] = i.xpath("./a/@href")[0] if len(i.xpath("./a/@href"))>0 else None
    print(item2)
相关标签: JSON 数据处理