Python多进程入门、分布式进程数据共享实例详解
本文实例讲述了python多进程入门、分布式进程数据共享。分享给大家供大家参考,具体如下:
python多进程入门
1、先来个简单的
# coding: utf-8 from multiprocessing import process # 定义函数 def adduser(): print("adduser") if __name__ == "__main__": p1 = process(target=adduser) p1.start()
多进程包multiprocessing
;
创建进程p1 = process(target=函数名)
;
开始进程p1.start()
。
2、通过进程id来区分父子进程
# coding: utf-8 from multiprocessing import process import os # 定义一个list mylist = ["a","b"]; # 定义函数 def adduser(list): print(os.getpid()) # 进程id print(os.getppid()) # 父进程id if __name__ == "__main__": p1 = process(target=adduser,args=(mylist,)) p1.start() # 这里是主进程 print("父进程id:"+str(os.getpid())) # 进程id
父进程id:27084
27085
27084
3、主进程等等子进程执行完毕
# 定义一个list mylist = ["a","b"]; # 定义函数 def adduser(list): list.append("c") print(list) if __name__ == "__main__": p1 = process(target=adduser,args=(mylist,)) p1.start() print(mylist)
['a', 'b']
['a', 'b', 'c']
主线程的print(mylist)
先于子进程的print(list)
执行。
在主进程里,只需要加一句代码:
p1.join() # 等待子进程执行完毕 print(mylist)
['a', 'b', 'c']
['a', 'b']
执行的顺序就不一样了。
分布式进程数据共享
通过manager
实现数据共享。
manager会创建一个服务进程,其他的进程都统一来访问这个server进程,从而达到多进程之间的数据通信。
一旦主进程结束,则server进程也讲结束
1、不多说,直接上代码
# coding: utf-8 from multiprocessing import process, manager # 定义函数 def adduser(list): list.append("c") # 给list添加了一个元素 print(list) if __name__ == "__main__": mgr = manager() my_list = mgr.list(["a","b"]) # 通过manager对象创建list p1 = process(target=adduser,args=(my_list,)) p1.start() p1.join() print(my_list)
注意2次打印list,在子进程(adduser())里还改变了list数据。我们看看2次打印结果:
['a', 'b', 'c']
['a', 'b', 'c']
说明通过manager对象创建的list数据能够在进程之间通信了。
2、分布式的数据共享
2.1、创建一个server
datamgr.py内容如下:
# coding: utf-8 from multiprocessing.managers import basemanager if __name__ == "__main__": mgr = basemanager(address=('127.0.0.1', 50000), authkey=b'password') mgr.register("getuser", callable=lambda :["a","b"]) # server永不关闭 server = mgr.get_server() server.serve_forever()
作为数据提供者。
2.2、在test.py里(可能是另外一台服务器里) 连接这个server
# coding: utf-8 from multiprocessing import process, manager from multiprocessing.managers import basemanager if __name__ == "__main__": mgr = basemanager(address=('127.0.0.1', 50000), authkey=b'password') mgr.register("getuser") mgr.connect() # 连接远程的server my_list = mgr.getuser() # 从server获取数据 print(my_list) # ['a', 'b']
连上了,并获取到了数据。
3、创建2个子进程,修改list数据,看看是不是能够共享?
# 定义函数 def adduser(list): list.append("c") def adduser2(list): list.append("d") if __name__ == "__main__": mgr = basemanager(address=('127.0.0.1', 50000), authkey=b'password') mgr.register("getuser") mgr.connect() # 连接远程的server my_list = mgr.getuser() # 从server获取数据 # 创建2个子进程 p1 = process(target=adduser,args=(my_list,)) p1.start() p2 = process(target=adduser2, args=(my_list,)) p2.start() # 等待2个子进程执行完毕 p1.join() p2.join() # 在主进程打印最终的list print(my_list) # ['a', 'b', 'c', 'd']
显然,在子进程里往list添加数据有效。
更多关于python相关内容感兴趣的读者可查看本站专题:《python进程与线程操作技巧总结》、《python数据结构与算法教程》、《python函数使用技巧总结》、《python字符串操作技巧汇总》、《python入门与进阶经典教程》、《python+mysql数据库程序设计入门教程》及《python常见数据库操作技巧汇总》
希望本文所述对大家python程序设计有所帮助。