用Python编写简单的gRPC服务的详细过程
grpc 是可以在任何环境中运行的现代开源高性能 rpc 框架。它可以通过可插拔的支持来有效地连接数据中心内和跨数据中心的服务,以实现负载平衡,跟踪,运行状况检查和身份验证。它也适用于分布式计算的最后一英里,以将设备,移动应用程序和浏览器连接到后端服务。
用python编写简单的grpc服务
grpc官网python参考:https://www.grpc.io/docs/languages/python/quickstart/
http://grpc.github.io/grpc/python/grpc.html
- python 3.5 or higher
- pip version 9.0.1 or higher
安装grpc相关的库
grpcio-tools主要用根据我们的protocol buffer定义来生成python代码,官方解释是protobuf code generator for grpc。
#apt install python3-pip pip install grpcio pip install protobuf pip install grpcio_tools
编写proto文件
proto是一个协议文件,客户端和服务器的通信接口正是通过proto文件协定的,可以根据不同语言生成对应语言的代码文件。
heartbeat.proto文件:
syntax = "proto3"; message heartbeatrequest{ string host = 1; int32 mem = 2; int32 disk = 3; int32 cpu = 4; int64 timestamp = 5; int64 seq = 6; } message heartbeatresponse{ int32 errcode = 1; string errmsg = 2; }
heartbeat_service.proto
syntax = "proto3"; import "heartbeat.proto"; // heartbeatservice service heartbeatservice{ rpc heartbeat(heartbeatrequest) returns(heartbeatresponse){} }
核心 就是一个 用于生成需要用到数据类型的文件;一个就是用于生成相关调用方法的类。 一个定义数据类型,一个用于定义方法。
通过proto生成.py文件
proto文件需要通过protoc生成对应的.py文件。protoc的下。下载解压之后,将解压目录添加到path的环境变量中。
pip install grpcio install grpcio-tools #pip install --upgrade protobuf
注意:【下面命令是在proto文件所在的目录执行的,-i 用来指定proto的目录是 . 】
python -m grpc_tools.protoc -i=. --python_out=.. heartbeat.proto python -m grpc_tools.protoc -i=. --grpc_python_out=.. heartbeat_service.proto
- -i 指定proto所在目录
- -m 指定通过protoc生成py文件
- –python_out生成py文件的输出路径
- heartbeat.proto、heartbeat_service.proto为 输入的proto文件
- 生成的文件名中 xxx_pb2.py 就是我们刚才创建数据结构文件,里面有定义函数参数和返回数据结构; xxx_pb2_grpc.py 就是我们定义的函数,定义了我们客服端rpc将来要调用方法。
编译客户端和服务端代码
服务端
#!/usr/bin/env python # coding=utf-8 import sys from concurrent import futures import time import grpc from google.protobuf.json_format import messagetojson import heartbeat_service_pb2_grpc import heartbeat_pb2 from lib.core.log import logger class heartbeatsrv(heartbeat_service_pb2_grpc.heartbeatserviceservicer): def heartbeat(self, msg, context): try: # logger.info(messagetojson(msg, preserving_proto_field_name=true)) body = messagetojson(msg, preserving_proto_field_name=true) logger.info("get heartbeat request: %s", body) response = heartbeat_pb2.heartbeatresponse() response.errcode = 0000 response.errmsg = "success" return response except exception as e: print("exception in heartbeat") logger.error("rpc service exception: %s", e) response = heartbeat_pb2.heartbeatresponse() response.errcode = 500 response.errmsg = "rpc error: %s" % e return response def server(host, rpc_port): # 这里通过thread pool来并发处理server的任务 # 定义服务器并设置最大连接数,concurrent.futures是一个并发库,类似于线程池的概念 grpc_server = grpc.server(futures.threadpoolexecutor(max_workers=100)) # 不使用ssl grpc_server.add_insecure_port('[::]' + ':' + str(rpc_port)) # this method is only safe to call before the server is started. # 绑定处理器heartbeatsrv(自己实现了处理函数) heartbeat_service_pb2_grpc.add_heartbeatserviceservicer_to_server(heartbeatsrv(), grpc_server) # 该方法只能调用一次, start() 不会阻塞 # 启动服务器 grpc_server.start() logger.info("server start...") while 1: time.sleep(10) #grpc_server.wait_for_termination() def main(): try: logger.info("begin start server") rpc_port = 8090 host = "::" server(host, rpc_port) except exception as e: logger.error("server start error: %s", e) time.sleep(5) if __name__ == '__main__': logger.info(sys.path) main()
客户端
from time import sleep import grpc import heartbeat_pb2 import heartbeat_service_pb2_grpc from lib.core.log import logger def run(seq): option = [('grpc.keepalive_timeout_ms', 10000)] # with grpc.insecure_channel(target='127.0.0.1:8090', options=option) as channel: # 客户端实例 stub = heartbeat_service_pb2_grpc.heartbeatservicestub(channel) # stub调用服务端方法 response = stub.heartbeat(heartbeat_pb2.heartbeatrequest(host='hello grpc', seq=seq), timeout=10) logger.info("response errcode:%s", response.errcode) if __name__ == '__main__': for i in range(1, 10000): logger.info("i: %s", i) sleep(3) run(i)
参考
使用python实现grpc通信
参考url:
python grpc搭构服务
python grpc 服务端和客户端调用demo
参考url:
到此这篇关于用python编写简单的grpc服务的文章就介绍到这了,更多相关python grpc服务内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!