欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

常用模块-02

程序员文章站 2023-02-08 08:36:27
主要内容1. 什么是序列化2. pickle3. shelve4. json5. configparser模块 一. 什么是序列化在我们存储数据或者网络传输数据的时候. 需要对我们的对象进行处理. 把对象处理成方便存储和传输的数据格式. 这个过程叫>>>序列化<<<. 不同的序列列化, 结果也不同. ......

主要内容
1. 什么是序列化
2. pickle
3. shelve
4. json
5. configparser模块

一. 什么是序列化
在我们存储数据或者网络传输数据的时候. 需要对我们的对象进行处理. 把对象处理成
方便存储和传输的数据格式. 这个过程叫>>>序列化<<<. 不同的序列列化, 结果也不同. 但是目的是一样的. 都是为了存储和传输.
在python中存在三种序列化的方案.
◎1. pickle. 可以将我们python中的任意数据类型转化成bytes并写入到文件中. 同样也可以把文件中写好的bytes转换回我们python的数据. 这个过程被称为反序列化

◎2. shelve. 简单另类的一种序列化的方案. 有点儿类似后面我们学到的redis. 可以作为一种小型的数据库来使用
◎3. json. 将python中常见的字典, 列表转化成字符串. 是目前后端数据交互使⽤用频率最高的一种数据格式.

二. pickle
pickle用起来很简单. 说白了. 就是把我们的python对象写入到文件中的一种解决方案.
但是写入到文件的是bytes. 所以这东西不是给人看的. 是给机器看的.

import pickle
#  dumps 序列化。 把对象转化成bytes
# loads 反序列化。 把bytes转化成对象
# dump 序列化。 把对象转化成bytes并写入文件
# load 反序列化。把文件中的bytes读取。转化成对象
class cat:
    def __init__(self, name, age):
        self.name = name
        self.age = age

    def catchmouse(self):
        print(self.name, "抓老鼠")

c = cat("jerry", 18)
bs = pickle.dumps(c)   # 序列化一个对象.
print(bs)                      # 一堆二进制. 看不懂

cc = pickle.loads(bs)      # 把二进制反序列化成我们的对象
cc.catchmouse()             # 猫依然是猫. 还可以抓老鼠    

  ★pickle中的dumps可以序列化一个对象. loads可以反序列化一个对象. 我们使用dump还可以直接 把一个对象写入到文件中:

# f = open("cat", mode="wb")
# pickle.dump(c, f) # 写入到文件中
# f.close()

f = open("cat", mode="rb")
cc = pickle.load(f) # 从文件中读取对象
cc.catchmouse()

  ★pickle还⽀支持多个对象的写出:

1.
lst = [cat("jerry", 19), cat("tommy", 20), cat("alpha", 21)] f = open("cat", mode="wb") for el in lst: pickle.dump(el, f) # 写入到文件中 f.close() f = open("cat", mode="rb") for i in range(len(lst)): cc = pickle.load(f) # 从文件中读取对象 cc.catchmouse()


2.
lst = [cat("猫1", 10), cat("猫2", 9), cat("猫3", 8), cat("猫4", 7), cat("猫5", 6)]
f = open("pickle-test", mode="wb")
pickle.dump(lst, f)
for el in lst:
pickle.dump(el, f)

f.flush()
f.close()

  ◆但是这样写并不够好. 因为读的时候. 并不能知道有多少对象要读. 这里记住, 不能一行一行的读. 那真的要写入或者读取多个内容怎么办? 很简单. 装lis里. 然后读取和写入都用list

lst = [cat("jerry", 19), cat("tommy", 20), cat("alpha", 21)]
f = open("pickle-test", mode="rb")
while 1:
try:
c1 = pickle.load(f)
c1.catchmouse()
except eoferror:
break

  记住一点, pickle序列化的内容是二进制的内容(bytes) 不是给人看的.

三. shelve
shelve提供python的 >>>持久化<<< 操作. 什么叫持久化操作呢? 说白话,就是把数据写到硬盘上.
在操作shelve的时候非常的像操作一个字典. 这个东西到后期. 就像redis差不多.

import shelve

shelf = shelve.open("sylar")
# shelf["jay"] = "周杰伦"
print(shelf['jay'])
shelf.close()

s = shelve.open("sylar")
# s["jay"] = {"name":"周杰伦", "age":18, "hobby":"哄小孩"}
print(s['jay'])
s.close()

# 但是, 有坑
s = shelve.open("sylar")
s['jay']['name'] = "胡辣汤" # 尝试改变字典中的数据
s.close()
s = shelve.open("sylar")
print(s['jay']) # 并没有改变
s.close()
解决方案:
s = shelve.open("sylar", writeback=true)
s['jay']['name'] = "胡辣汤" # 尝试改变字典中的数据
s.close()
s = shelve.open("sylar")
print(s['jay']) # 改变了.
s.close()

  ★ writeback=true 可以动态的把我们修改的信息写入到文件中. 而且还可以删除数据. 就像字典一样. 上一波操作:

s = shelve.open("sylar", writeback=true)
del s['jay']
s.close()
s = shelve.open("sylar") print(s['jay']) # 报错了, 没有了 s.close()
s = shelve.open("sylar", writeback=true) s['jay'] = "周杰伦" s['wlj'] = "王力宏" s.close()
s = shelve.open("sylar") for k in s: # 像字典一样遍历   print(k) print(s.keys()) # 拿到所有key的集合 for k in s.keys():   print(k) for k, v in s.items(): # 像字典一样操作   print(k, v) s.close()

  综上 shelve 就当成字典来用就行了. 它比redis还简单.......

四.                     ★☆★ ☆           json              ☆★☆★
  json是我们前后端交互的枢纽. 相当于编程界的普通话. 大家沟通都用json. 为么这样呢? 因为json的语法格式可以完美的表示出一个对象. 那么是json: json 全称 >>>javascript object notation . 翻译过来叫js对象简谱. 很复杂是吧? 来上一段简单的代码:

wf = {
    "name":"汪峰",
    "age":18,
    "hobby":"上头条",
    "wife":{
    "name":'⼦子怡',
    "age":19,
    "hobby":["唱歌", "跳舞", "演戏"]
       }
}

这个不是字典么? 对的. 在python里这叫字典. 但是在javascript里这叫 json. 一模一样的. 我们发现用这样的数据结构可以完美的表示出任何对象. 并且可以完整的把对象表示出来. 只要代码格式比较好. 那可读性也是很强的. 所以大家公认用这样一种数据结构作为数据交互的格式. 那在这个东西之前是什么呢? xml.....来看⼀一段代码

<?xml version="1.0" encoding="utf-8" ?>
<wf>
    <name>汪峰</name>
    <age>18</age>
    <hobby>上头条</hobby>
    <wife>
         <name>⼦子怡</name>
         <age>18</age>
         <hobbies>
                <hobby>唱歌</hobby>
                <hobby>跳舞</hobby>
                <hobby>演戏</hobby>
         </hobbies>
    </wife>
</wf> 

  古人(老程序员)都是用这样的数据进行传输的. 先不管这个东西好不好看. 这玩意想要解析.. 那简直了. 想死的心都有. 所以老版本的xml在维护和处理理上是非常复杂和繁琐的. 以前的项目几乎没有用ajax的.
  那json既然这么牛b好⽤用. 怎么用呢? 注意. 这里又出来一个新问题. 我们的程序是在python⾥里写的. 但是前端是在js那边来解析json的. 所以. 我们需要把我们程序产生的字典转化成json格式的json串(字符串). 然后网络传输. 那边接收到了之后. 它爱怎么处理是它的事情. 那, 如何把字典转化成我们的json格式的字符串呢?很简单, 上代码:

import json
dic = {"a": "女王", "b": "萝莉", "c": "小清新"}
s = json.dumps(dic)                          # 把字典转化成json字符串
print(s) # {"a": "\u5973\u738b", "b": "\u841d\u8389", "c":"\u5c0f\u6e05\u65b0"}
 # 结果很不友好啊. 那如何处理中文呢? 在dumps的时候给出另一个参数ensure_ascii=false就可以了 import json dic = {"a": "女王", "b": "萝莉", "c": "小清新"} s = json.dumps(dic, ensure_ascii=false) # 把字典转化成json字符串 print(s) # {"a": "女王", "b": "萝莉", "c": "小清新"}

# 假如,前端给你传递信息了. 你要把前端传递过来的json字符串转化成字典: import json s = '{"a": "女王", "b": "萝莉", "c": "小清新"}' dic = json.loads(s) print(type(dic), dic)
* json也可以像pickle一样把序列化的结果写入到文件中. dic = {"a": "女王", "b": "萝莉", "c": "小清新"} f = open("test.json", mode="w", encoding="utf-8") json.dump(dic, f, ensure_ascii=false) # 把对象打散成json写入到文件中 f.close()   同样也可以从文件中读取一个json f = open("test.json", mode="r", encoding="utf-8") dic = json.load(f) f.close() print(dic)
★ 注意. 我们可以向同一个文件中写入多个json串. 但是读不行. import json lst = [{"a": 1}, {"b": 2}, {"c": 3}] f = open("test.json", mode="w", encoding="utf-8") for el in lst:   json.dump(el, f) f.close()
注意, 此时文件中的内容是一行内容: >>> {"a": 1}{"b": 2}{"c": 3}
# 这在读取的时候是无法正常读取的. 那如何解决呢? 两套⽅方案. 方案一. 把所有的内容准备好统一 进行写入和读取. 但这样处理, 如果数据量小还好. 数据量大的话, 就不够友好了. 方案二. 不用dump.
改用dumps和loads. 对每一行分别进行处理:
import json lst = [{"a": 1}, {"b": 2}, {"c": 3}]
# 写入的时候
# 1. 循环
# 2. 用dumps把字典转化成字符串, 然后手工在后面加一个\n
# 3. 写出

f = open("test.json", mode="w", encoding="utf-8")
for el in lst:   
  s = json.dumps(el, ensure_ascii=true) + "\n"
  f.write(s)
f.close()
# 读取的时候
# 1. for line in f:
# 2. strip()去掉空白
# 3. loads()变成字典
f = open("test.json", mode="r", encoding="utf-8") 
for line in f:
  dic = json.loads(line.strip())
  print(dic)
f.close()

五. configparser模块
该模块适用于配置文件的格式与windows ini文件类似,可以包含一个或多个节(section)每个节
可以有多个参数(键=值).

[default]
serveraliveinterval = 45
compression = yes
compressionlevel = 9
forwardx11 = yes
[[ bitbucket.org]] user = hg
[[ topsecret.server.com]] port = 50022 forwardx11 = no
我们用configparser就可以对这样的文件进行处理理.首先, 是初始化 import configparser

config = configparser.configparser() config['default'] = {       "sleep": 1000,       "session-time-out": 30,       "user-alive": 999999 }
config['test-db'] = {       "db_ip": "192.168.17.189",       "port": "3306",       "u_name": "root",     "u_pwd": "123456" }
config['168-db'] = {       "db_ip": "152.163.18.168",       "port": "3306",       "u_name": "root",       "u_pwd": "123456" }
config['173-db'] = {       "db_ip": "152.163.18.173",       "port": "3306",       "u_name": "root",       "u_pwd": "123456" }
f = open("db.ini", mode="w") config.write(f) # 写入文件 f.flush() f.close()
# 读取⽂文件信息: config = configparser.configparser()
config.read("db.ini") # 读取⽂文件 print(config.sections()) # 获取到section. 章节...default是给每个章节都配备的信息 print(config.get("default", "session-time-out")) # 从xxx章节中读取到xxx信息 ◆ 也可以像字典一样操作 print(config["test-db"]['db_ip']) print(config["173-db"]["db_ip"])
for k in config['168-db']:   print(k) for k, v in config["168-db"].items():   print(k, v)
print(config.options('168-db')) # 同for循环,找到'168-db'下所有键 print(config.items('168-db')) #找到'168-db'下所有键值对 print(config.get('168-db','db_ip')) # 152.163.18.168 get方法section下的key对应的value
◆ 增删改操作: ◎ 先读取. 然后修改. 最后写回文件 config = configparser.configparser() config.read("db.ini") # 读取文件 (全部都读出来了)
# 添加一个章节 # config.add_section("189-db") # config["189-db"] = { #       "db_ip": "167.76.22.189", #       "port": "3306", #       "u_name": "root", #       "u_pwd": "123456" # } # 修改信息 config.set("168-db", "db_ip", "10.10.10.168")
# 删除章节 config.remove_section("173-db")
# 删除元素信息 config.remove_option("168-db", "u_name")
◎ 写回⽂文件 config.write(open("db.ini", mode="w"))