Python使用protobuf序列化和反序列化的实现

protobuf介绍

protobuf是一种二进制的序列化格式，相对于json来说体积更小，传输更快。

安装protobuf

安装protobuf的目的主要用来将proto文件编译成python、c、java可调用的接口。

# 如果gcc版本较低，需要升级gcc
wget https://main.qcloudimg.com/raw/d7810aaf8b3073fbbc9d4049c21532aa/protobuf-2.6.1.tar.gz
tar -zxvf protobuf-2.6.1.tar.gz -c /usr/local/ && cd /usr/local/protobuf-2.6.1
./configure 
make && make install
# 可以在/etc/profile或者~/.bash_profile末尾设置永久有效
export path=$path:/usr/local/protobuf-2.6.1/bin

使用下面命令查看是否安装成功。

[root@codeontheroad ~]# protoc --version
libprotoc 2.6.1

构建python接口

创建cls.proto文件，定义序列化结构：

package cls;

message log
{
    message content
    {
        required string key   = 1; // 每组字段的 key
        required string value = 2; // 每组字段的 value
    }
    required int64   time     = 1; // 时间戳，unix时间格式
    repeated content contents = 2; // 一条日志里的多个kv组合
}

message logtag
{
    required string key       = 1;
    required string value     = 2;
}

message loggroup
{
    repeated log    logs        = 1; // 多条日志合成的日志数组
    optional string contextflow = 2; // 目前暂无效用
    optional string filename    = 3; // 日志文件名
    optional string source      = 4; // 日志来源，一般使用机器ip
    repeated logtag logtags     = 5;
}

message loggrouplist
{
    repeated loggroup loggrouplist = 1; // 日志组列表
}
 

只用下面命令将proto文件转换为python可调用的接口。

protoc cls.proto --python_out=./ 

执行完后，在此目录下生成cls_pb2.py。

序列化

import cls_pb2 as cls
import time

# 构建protobuf日志内容
logloggrouplist = cls.loggrouplist()

loggroup = logloggrouplist.loggrouplist.add()
loggroup.contextflow = "1"
loggroup.filename = "python.log"
loggroup.source = "localhost"

logtag = loggroup.logtags.add()
logtag.key = "key"
logtag.value = "value"

log = loggroup.logs.add()
log.time = int(round(time.time() * 1000000))

content = log.contents.add()
content.key = "hello"
content.value = "world"
print(logloggrouplist)
# 序列化
data = logloggrouplist.serializetostring()
print(data)

其实就是讲一个protobuf的结构文本序列化成了二进制的形式。

反序列化

反序列化就是将二进制转换成protobuf结构。

# 反序列化
logloggrouplist = cls.loggrouplist()
logloggrouplist.parsefromstring(data)
print(logloggrouplist)

运行结果

上面序列化和反序列化代码结果运行如下：

到此这篇关于python使用protobuf序列化和反序列化的实现的文章就介绍到这了,更多相关python 序列化和反序列化内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！