欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

解析MapReduce原理–笔记(9)hadoopRPC基础

程序员文章站 2024-02-06 14:00:28
...

基本概念 模块 RPC 通常采用客户机/服务器模型。请求程序是客户机,服务提供程序则是一个服务器。包括以下几个模块 通信模块:两个相互协作的通信模块实现请求-应答协议。同步方式和异步方式。 Stub程序:客户端和服务器端均包含Stub程序,代理程序。它使得

基本概念
模块
RPC通常采用客户机/服务器模型。请求程序是客户机,服务提供程序则是一个服务器。包括以下几个模块
通信模块:两个相互协作的通信模块实现请求-应答协议。同步方式和异步方式。
Stub程序:客户端和服务器端均包含Stub程序,代理程序。它使得远程函数调用表现的跟本地调用一样,对用户程序完全透明。
在客户端,它表现的就像一个本地程序,但不直接执行本地调用,而是将请求信息通过网络模块发送给服务器端。
在服务器端,解码请求消息中的参数,调用相应的服务过程和编码应答结果的返回值。
调度程序:接收来自通信模块的请求消息,并根据其中的标识选择一个Stub程序处理。线程池处理。
客户程序/服务过程:请求的发出者和请求的处理者。
步骤
1.客户程序以本地方式调用系统产生的Stub程序。
2.该Stub程序将函数调用信息按照网络通信模块的要求封装成消息包。并交给通信模块发送到远程服务器端。
3.远程服务器端接收此消息后,将此消息发送给相应的Stub程序。
4.Stub程序拆封消息,形成被调过程要求的形式,并调用对应的函数。
5.被调用函数按照所获参数执行,并将结果返回给Stub程序。
6.Stub程序将此结果封装成消息,通过网络通信模块逐级地传送给客户程序。

HadoopRPC
接口:

public static VersionedProtocol getProxy/waitForProxy():构造一个客户端代理对象,用于向服务器发送RPC请求。public static Server getServer():为某个协议示例构造一个服务器对象,用于处理客户端发送的请求。

步骤:
1.定义RPC协议。RPC协议是客户端与服务器端之间的通信接口,它定义了服务器端对外提供的服务接口。interface ClientProtocol extends org.apache.hadoop.ipc.VersionedProtocol{public static final long versionID=1L;String echo(String value) throws IOException;int add(int v1,int v2) throws IOException;}2.实现RPC协议。public static class ClientProtocolImpl implements ClientProtocl{public long getProtocolVersion(String protocol,long clientVersion){return ClientProtocol.versionID ;}public String echo(String value) throws IOException{return value;}public int add(int v1,int v2) throws IOException{return v1+v2;}}3.构造并启动RPC Serverserver = RPC.getServer(new ClientProtocolImpl(),serverHost,serverPort,numHandlers,false,conf);//numHandlers表示服务器端处理请求的线程数目。server.start();4.构造RPC Client,并发送RPC请求。proxy = (ClientProtocol)RPC.getProxy(ClientProtocol.class,ClientProtocol.versionID,addr,conf);int result = proxy.add(4,5);String echoResult = proxy.echo("hello");