<二>基于Fourinone实现分布式计算完整demo
程序员文章站
2022-05-21 19:58:38
...
我们现实中的分布式计算存在多个环节,比如有的任务拆分,有的计算结果合并,或者是多个拆分和合并,他们之间是串行关系,也就是合并必须等待拆分和计算完成才能进行,同时每个拆分或者合并的任务又都是并行的过程。
CtorDemo:是包含了3个工头实例,对应3个环节,链式处理,实现过程获取到线上工人节点,进行调用,所有的分配任务和中间结果存储都由自己实现处理。
这里简单的将20条数据分配给多个工人处理,数据用data变量表示,j用来记录计算结果,如果j==20,标志结束,任务初始为一个id的字符传给工头实例1,工头加上自己名称的描述和数据data后传给工人处理,工人再加上自己的名称和处理信息返回给工头,工头实例1处理完再传给工头实例2,直到3个工头都链式处理完, 这里将上工头的处理结果又当做下一个工头的输入。
注意:工头和工人之间是异步调用,会马上返回,需要检查结果是否完成。
WareHouse[] hmarr = new WareHouse[wks.length];
这里通过hmarr数组来记录每次每个工人任务分配的结果,需要轮循hmarr的每个结果是否已经计算完成,如果计算完成就设置为null,进行新的任务安排。
WorkerDemo:是一个工人实现,工人可以指定某种类型,比如有的工人用于计算,有的用于合并,也都是自己实现。这里只是简单的在工头传入的id后加上自己的名称信息代表处理。
waitWorking("localhost",Integer.parseInt(args[1]),"workdemo");
该方法进行任务等待,其中3个参数分别指定工人监听ip, 工人监听端口,和工人类型
ParkServerDemo: 分布式计算过程的协同服务park
另外:工头和工人之间的计算交互有两种模式,一种是工头直接调用工人,一种是通过park消息中枢,可以在配置文件里配置COMPUTEMODE的默认值进行指定,默认是直接调用方式。
部署:CtorDemo,WorkerDemo,ParkServerDemo分别部署在不同机器或者同台机器不同进程,Worker可以有多个。
运行步骤:
1、启动ParkServerDemo(它的IP端口已经在配置文件的PARK部分的SERVERS指定)
2、运行WorkerDemo, 通过传入不同的端口和名称参数指定多个Worker,这里假设在同机演示,ip设置为localhost
3、运行CtorDemo
邮箱:fourinone@yeah.net
腾讯群:1313859
本demo源码和开发包下载
http://www.skycn.com/soft/68321.html
CtorDemo:是包含了3个工头实例,对应3个环节,链式处理,实现过程获取到线上工人节点,进行调用,所有的分配任务和中间结果存储都由自己实现处理。
这里简单的将20条数据分配给多个工人处理,数据用data变量表示,j用来记录计算结果,如果j==20,标志结束,任务初始为一个id的字符传给工头实例1,工头加上自己名称的描述和数据data后传给工人处理,工人再加上自己的名称和处理信息返回给工头,工头实例1处理完再传给工头实例2,直到3个工头都链式处理完, 这里将上工头的处理结果又当做下一个工头的输入。
注意:工头和工人之间是异步调用,会马上返回,需要检查结果是否完成。
WareHouse[] hmarr = new WareHouse[wks.length];
这里通过hmarr数组来记录每次每个工人任务分配的结果,需要轮循hmarr的每个结果是否已经计算完成,如果计算完成就设置为null,进行新的任务安排。
WorkerDemo:是一个工人实现,工人可以指定某种类型,比如有的工人用于计算,有的用于合并,也都是自己实现。这里只是简单的在工头传入的id后加上自己的名称信息代表处理。
waitWorking("localhost",Integer.parseInt(args[1]),"workdemo");
该方法进行任务等待,其中3个参数分别指定工人监听ip, 工人监听端口,和工人类型
ParkServerDemo: 分布式计算过程的协同服务park
另外:工头和工人之间的计算交互有两种模式,一种是工头直接调用工人,一种是通过park消息中枢,可以在配置文件里配置COMPUTEMODE的默认值进行指定,默认是直接调用方式。
部署:CtorDemo,WorkerDemo,ParkServerDemo分别部署在不同机器或者同台机器不同进程,Worker可以有多个。
运行步骤:
1、启动ParkServerDemo(它的IP端口已经在配置文件的PARK部分的SERVERS指定)
2、运行WorkerDemo, 通过传入不同的端口和名称参数指定多个Worker,这里假设在同机演示,ip设置为localhost
3、运行CtorDemo
邮箱:fourinone@yeah.net
腾讯群:1313859
本demo源码和开发包下载
http://www.skycn.com/soft/68321.html
下一篇: php的RSA加密解密算法