大数据IMF传奇行动绝密课程第43课：Spark 1.6 Rpc内幕解密

来源：互联网发布：用友软件的优缺点编辑：程序博客网时间：2024/04/28 01:35

Spark 1.6 Rpc内幕解密

1、Spark 1.6 Rpc内幕解析
2、RpcEnv源码彻底详解
3、RpcEndpoint等源码解析

图43-1 RPC消息发送图

一、Spark 1.6 Rpc解析
1、Spark 1.6推出了以RpcEnv、RPCEndpoint、RpcEndpointRef为核心的新型架构下的RPC通信方式，就目前的实现而言，其底层依旧是Akka；
2、Akka是基于Actor的分布式消息通信系统，而在Spark 1.6中封装了Akka，提供更高层的Rpc实现，目的是移除对Akka的依赖，为扩展和自定义Rpc打下基础
二、RpcEnv解析
1、RpcEnv是RPC的环境（相当于Akka中的ActorSystem），所有的RpcEndpoint都需要注册到RpcEnv的实例对象中（注册的时候会指定注册的名称，这样客户端就可以通过名称查询到RPCEndpoint的RPCEndpointRef引用，进而进行通信），在RpcEndpoint接收到消息后会调用receive方法进行处理
2、RPCEndpoint如果接收到需要reply的消息的话就会交给自己的receiveAndReply来处理（回复时是通过RpcCallContext中的reply方法来回复发送者的），如果不需要reply的话就交给receive方法来处理
3、RpcEnvFactory是负责创建RpcEnv的，通过create方法创建RpcEnv实例对象，默认使用的是Netty
private def getRpcEnvFactory(conf: SparkConf): RpcEnvFactory = {
val rpcEnvNames = Map(
“akka” -> “org.apache.spark.rpc.akka.AkkaRpcEnvFactory”,
“netty” -> “org.apache.spark.rpc.netty.NettyRpcEnvFactory”)
val rpcEnvName = conf.get(“spark.rpc”, “netty”)
val rpcEnvFactoryClassName = rpcEnvNames.getOrElse(rpcEnvName.toLowerCase, rpcEnvName)
Utils.classForName(rpcEnvFactoryClassName).newInstance().asInstanceOf[RpcEnvFactory]
}

4、RpcEndpoint的生命周期
构造constructor 启动onStart 消息接收 receive、receiveAndReply 停止 onStop

0 0