Spark RPC(简约版)
程序员文章站
2022-03-24 17:53:43
...
一:Spark 1.6RPC解析
1,Spark 1.6推出RpcEnv,RPCEndpoint,PRCEndpointRef为核心的新型架构下的RPC通信方式,就目前的实现而言,其底层依旧是Akka;
2,Akka是基于Actor的分布式消息通信系统,而在Spark 1.6中封装了Akka,提供更高层的Rpc实现,目的是移除对Akka的依赖,为了扩展和自定义Rpc打下基础;
二:RPCEnv解析
1,RpcEnv是RPC的环境(相当于Akka中的ActorSystem),所有的RpcEndpoint都需要注册到RpcEnv实例对象中(注册的时候会指定注册的名称,这样客户端就可以通过名称查询到RpcEndpoint的Ref的引用,进而进行通信),在RpcEndpoint接收到消息后会receive方法进行处理;
2,RpcEndpoint如果接收到需要reply的消息的话就会交给自己的receiveAndReply来处理(回复时候是通过RpcCallContext中的reply方法来回复发送者的),如果不需要reply的话就交给receive方法来处理;
3,RpcEnvFactory是负责创建RpcEnv的,通过create方法创建RpcEnv实例对象,默认是用的Netty:
private def getRpcEnvFactory(conf: SparkConf): RpcEnvFactory = {
val rpcEnvNames = Map(
"akka" -> "org.apache.spark.rpc.akka.AkkaRpcEnvFactory",
"netty" -> "org.apache.spark.rpc.netty.NettyRpcEnvFactory")
val rpcEnvName = conf.get("spark.rpc", "netty")
val rpcEnvFactoryClassName = rpcEnvNames.getOrElse(rpcEnvName.toLowerCase, rpcEnvName)
Utils.classForName(rpcEnvFactoryClassName).newInstance().asInstanceOf[RpcEnvFactory]
}
4,RpcEnpoint的生命周期:构造(constructor)-> 启动(onStart)、消息接收( receive*)、停止(onStop)
上一篇: 一场由like引发的事故
下一篇: c语言 数组求平均值
推荐阅读
-
只需2步 PS打造SPARK官网C3版镊子
-
Spark RPC框架源码分析(二)RPC运行时序
-
Spark RPC框架源码分析(一)简述
-
Apache Spark 3.0 预览版正式发布,多项重大功能发布
-
PHP实现RPC(简版)
-
智慧出行/FAQ-SPARK-4105,只要你spark版本低于2.3版本是一定会出现这个bug的正常的
-
linux环境不使用hadoop安装单机版spark的方法
-
详解python百行有效代码实现汉诺塔小游戏(简约版)
-
Spark RPC 框架源码分析(三)Spark 心跳机制分析
-
Spark系列(一)Spark简介与架构以及Spark安装流程(单机版和分布式版)---轻松上手Spark流处理