Spark Rpc通信分析

Spark 1.6+推出了以RPCEnv、RPCEndpoint、RPCEndpointRef为核心的新型架构下的RPC通信方式。其具体实现有Akka和Netty两种方式，Akka是基于Scala的Actor的分布式消息通信系统，Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。

　　Rpc Environment(RpcEnv)是一个RpcEndpoints用于处理消息的环境，它管理着整个RpcEndpoints的声明周期：(1)根据name或uri注册endpoints(2)管理各种消息的处理(3)停止endpoints。RpcEnv必须通过工厂类RpcEnvFactory创建。

　　RpcEndpoint需要注册到RpcEnv，RpcEnv处理从RpcEndpointRef或远程节点发送过来的消息，然后把响应消息给RpcEndpoint。对于Rpc捕获到的异常消息，RpcEnv将会用RpcCallContext.sendFailure将失败消息发送给发送者，或者将没有发送者、‘NotSerializableException’等记录到日志中。同时，RpcEnv也提供了根据name或uri获取RpcEndpointRef的方法。

　　

 

　　Rpc、RpcEndpoint、RpcEndpointRef三者关系

　　1.RpcEnv源码分析

　　1.根据RpcEndpoint返回RpcEndpointRef，具体实现在RpcEndpoint.self方法中，如果RpcEndpointRef不存在，将返回null

　　private[rpc] def endpointRef(endpoint: RpcEndpoint): RpcEndpointRef

　　2.根据RpcEndpoint的name注册到RpcEnv中并返回它的一个引用RpcEndpointRef

　　def setupEndpoint(name: String, endpoint: RpcEndpoint): RpcEndpointRef

　　3.获取RpcEndpointRef的方法

　　(1)通过url获取RpcEndpointRef

　　//通过url异步获取RpcEndpointRef

　　def asyncSetupEndpointRefByURI(uri: String): Future[RpcEndpointRef]

　　//通过url同步获取RpcEndpointRef，这是一个阻塞操作

　　def setupEndpointRefByURI(uri: String): RpcEndpointRef = {

　　defaultLookupTimeout.awaitResult(asyncSetupEndpointRefByURI(uri))}

　　(2)根据systemName、address、endpointName获取RpcEndpointRef，其实是将三者拼接为uri，根据uri获取

　　//异步获取

　　def asyncSetupEndpointRef(

　　systemName: String, address: RpcAddress, endpointName: String): Future[RpcEndpointRef] = {

　　asyncSetupEndpointRefByURI(uriOf(systemName, address, endpointName))}

　　//同步获取

　　def setupEndpointRef(

　　systemName: String, address: RpcAddress, endpointName: String): RpcEndpointRef = {

　　setupEndpointRefByURI(uriOf(systemName, address, endpointName))

　　}

　　4.根据RpcEndpointRef停止RpcEndpoint

　　def stop(endpoint: RpcEndpointRef): Unit

　　5.等待直到RpcEnv退出

　　def awaitTermination(): Unit

　　6.RpcEndpointRef需要RpcEnv来反序列化，所以当反序列化RpcEndpointRefs的任何object时，应该通过该方法来操作

　　def deserialize[T](deserializationAction: () => T): T

　　2.RpcEndpoint源码分析

　　RpcEndpoint定义了由消息触发的一些函数，`onStart`, `receive` and `onStop`的调用是顺序发生的。它的声明周期是constructor -> onStart -> receive* -> onStop。注意，`receive`能并发操作，如果你想要`receive`是线程安全的，请使用ThreadSafeRpcEndpoint，如果RpcEndpoint抛出错误，它的`onError`方法将会触发。它有51个实现子类，我们比较熟悉的是Master、Worker、ClientEndpoint等。

　　1.启动RpcEndpoint处理任何消息

　　def onStart(): Unit = {}

　　2.停止RpcEndpoint

　　def onStop(): Unit = {}

　　3.处理RpcEndpointRef.send或RpcCallContext.reply方法，如果收到不匹配的消息，将抛出SparkException

　　def receive: PartialFunction[Any, Unit] = {

　　case _ => throw new SparkException(self + " does not implement 'receive'")}

　　4.处理RpcEndpointRef.ask方法，如果不匹配消息，将抛出SparkException

　　def receiveAndReply(context: RpcCallContext): PartialFunction[Any, Unit] = {

　　case _ => context.sendFailure(new SparkException(self + " won't reply anything"))}

　　5.当处理消息发生异常时

　　def onError(cause: Throwable): Unit = {

　　throw cause}

　　6.当远程地址连接到当前的节点地址时触发

　　def onConnected(remoteAddress: RpcAddress): Unit = {

　　}

　　7.当远程地址连接断开时触发

　　def onDisconnected(remoteAddress: RpcAddress): Unit = {

　　}

　　8.当远程地址和当前节点的连接发生网络异常时触发

　　def onNetworkError(cause: Throwable, remoteAddress: RpcAddress): Unit = {

　　// By default, do nothing.

　　}

　　3.RpcEndpointRef源码分析

　　RpcEndpointRef是RpcEndpoint的一个远程引用，是线程安全的。它有两个实现子类：即AkkaRpcEndpointRef和NettyRpcEndpointRef。

　　1.发送单方面的异步消息

　　def send(message: Any): Unit

　　2.发送一个消息给RpcEndpoint.receiveAndReply并返回一个Future在指定的时间内接受响应，本方法值请求一次

　　def ask[T: ClassTag](message: Any, timeout: RpcTimeout): Future[T]

　　3.发送消息给RpcEndpoint并在默认的超时内得到结果，否则抛出SparkException，注意，本方法是一个阻塞操作可能消耗时间，所以不要早消息循环中调用它

　　def askWithRetry[T: ClassTag](message: Any): T = askWithRetry(message, defaultAskTimeout)

　　最后，画图说明一下两者的消息传递的过程，RpcEndpointRef作为消息的主动者，RpcEndpoint作为消息的被动者