RPC框架与Netty框架

来源:互联网 发布:canvas js库 编辑:程序博客网 时间:2024/06/05 16:34

RPCRemote Procedure Call Protocol远程过程调用直观说法就是A通过网络调用B的过程方法

1、本地过程调用过程

假设我们要调用函数Multiply来计算a* b的结果:

1 int Multiply(int l, int r){

2    int y = l * r;

3    return y;

4 }

5 int a= 10;

6 int b= 20;

7 int mj = Multiply(a, b);

那么在第7行时,我们实际上执行了以下操作:

1. a b的值压栈

2. 进入Multiply函数,取出栈中的值10 和 20,将其赋予 l 和 r

3. 执行第2行代码,计算 l * r ,并将结果存在 y

4.  y 的值压栈,然后从Multiply返回

5. 第7行,从栈中取出返回值 200 ,并赋值给 mj

以上5步就是执行本地调用的过程

2、远程过程调用需解决的问题

在远程调用时,我们需要执行的函数体是在远程的机器上,也就是说,Multiply函数(或方法)是远程机器上的一个进程中执行的。这就带来了几个新问题:

2-1、Call ID映射

我们怎么告诉远程机器我们要调用Multiply,而不是Add或者FooBar呢?在本地调用中,函数体是直接通过函数指针来指定的,我们调用Multiply,编译器就自动帮我们调用它相应的函数指针。但是在远程调用中,函数指针是不行的,因为两个进程的地址空间是完全不一样的。所以,RPC中,所有的函数都必须有自己的一个ID。这个ID在所有进程中都是唯一确定的。客户端在做远程过程调用时,必须附上这个ID。然后我们还需要在客户端和服务端分别维护一个 {函数 与Call ID} 的对应表。两者的表不一定需要完全相同,但相同的函数对应的Call ID必须相同。当客户端需要进行远程调用时,它就查一下这个表,找出相应的Call ID,然后把它传给服务端,服务端也通过查表,来确定客户端需要调用的函数,然后执行相应函数的代码。

2-2、序列化和反序列化

客户端怎么把参数值传给远程的函数呢?在本地调用中,我们只需要把参数压到栈里,然后让函数自己去栈里读就行。但是在远程过程调用时,客户端跟服务端是不同的进程,不能通过内存来传递参数。甚至有时候客户端和服务端使用的都不是同一种语言(比如服务端用C++,客户端用Java或者Python)。这时候就需要客户端把参数先转成一个字节流,传给服务端后,服务端再把字节流转成自己能读取的格式。这个过程叫序列化和反序列化。同理,从服务端返回给客户端的值也需要序列化反序列化的过程。

2-3、网络传输

远程调用往往用在网络上,客户端和服务端是通过网络连接的。所有的数据都需要通过网络传输,因此就需要有一个网络传输层。网络传输层需要把Call ID和序列化后的参数字节流传给服务端,然后再把序列化后的调用结果传回客户端。只要能完成这两者的,都可以作为传输层使用。因此,它所使用的协议其实是不限的,能完成传输就行。尽管大部分RPC框架都使用TCP协议,但其实UDP也可以,而gRPC干脆就用了HTTP2。Java的Netty也属于这层的东西Netty是一种网络通信框架,RPC要做到用户无感知的调用远程服务必定要经过网络传输,而netty正好是是Java编写的快速开发高性能高可靠性的网络编程框架。目前使用netty作为传输层的RPC框架很多,国内知名的有dubbo,motan等

总结:所以,要实现一个RPC框架,其实只需要解决以上三点实现了就可以了。

Call ID映射可以直接使用函数字符串,也可以使用整数ID。映射表一般就是一个哈希表。

序列化反序列化可以自己写,也可以使用Protobuf或者FlatBuffers之类的。

网络传输库可以自己写socket,或者用asio,ZeroMQ,Netty之类的