爬虫中的json数据如何存储比较好

1. 什么是json？

JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。

2. json支持的数据格式

1. 对象（字典）。使用花括号。
2. 数组（列表）。使用方括号。
3. 整形、浮点型、布尔类型还有null类型。
4. 字符串类型（字符串必须要用双引号，不能用单引号）。

【注意】 多个数据之间使用逗号分开，并且json本身就是一个字符串。

3. dumps 和 dump 函数的使用 (unicode ---> json)

(3.1) dumps 将unicode数据类型转换为json类型

import json
students= [
    {
        name: 'myh',
        'age': 3
    },
    {
        name: 'zff',
        age: 3
    }
]
json_str = json.dumps(students, ensure_ascii=False)
print(json_str)

因为json在dump的时候，只能存放ascii的字符，因此会将中文进行转义，这时候我们可以使用ensure_ascii=False关闭这个特性。
在Python中。只有基本数据类型才能转换成JSON格式的字符串。也即：int、float、str、list、dict、tuple。

（3.2）dump 将unicode数据类型转换为json类型并且直接存储到文件中

json模块中除了dumps函数，还有一个dump函数，这个函数可以传入一个文件指针，直接将字符串dump到文件中。示例代码如下：

students= [
    {
        name: 'myh',
        'age': 3
    },
    {
        name: 'zff',
        age: 3
    }
]
with open('a.json','w') as fp:
    json.dump(books,fp)

4. loads 和 load 函数的使用 (json ---> unicode )

(4.1) loads 函数将一个json字符串转换为python对象

json_str = '[{"title": "钢铁是怎样练成的", "price": 9.8}, {"title": "红楼梦", "price": 9.9}]'
books = json.loads(json_str,encoding='utf-8')
print(type(books))
print(books)

(4.2) load 函数直接从文件中读取json字符串并且转换为python对象

import json
with open('a.json','r',encoding='utf-8') as fp:
    json_str = json.load(fp)
    print(json_str)

【注】 无论是loads与load还是dumps与dump：带s的函数都只是进行数据格式转换，而不带s的函数都与文件操作相关。

 

 

本文地址：https://blog.csdn.net/qq_39504519/article/details/107085193