hadoop中rpc的具体实现:

来源:互联网 发布:北大青鸟编程多长时间 编辑:程序博客网 时间:2024/05/17 22:00

还是一年前看过rpc模块,今天回头去复习了一下,发现有一些小小的改动,增加了一些接口,比如RPCEngine。还增加了对socket一些参数的配置,比如时间设置等。但总体思路基本没有变,关键就是下面几个点。

1.        java中有代理类这样的机制,即只需要知道类名和方法名,即可以通过这个代理类去调用真正的类方法,而不需要直接去new一个对象,再调用该对象的方法来完成。特别是在RPC中,当客户端要调用某个远程对象的方法时,即可调用代理类,然后让代理类与远程进程进行通信,得到函数的返回值,再返回给客户端。

2.        不同类型的对象与字节数组之间的转换,方便低层的socket传输。即序列化与反序列化的功能,hadoop中所有这些对象都需要实现Writable接口来完成序列与反序列的方法。

3.        socket网络通信模型。最常用的就是异步方式,而在java实现中select模型较常用,而在C实现中epoll事件处理模型较常用。在hadoop实现里,就是基于javaselect模型实现。

另外,hadooprpc不支持多语言间进程通信,而像ProtocolBufferthriftavro等是支持多语言的通信框架,画了个图来描述通信的类调用关系。



原创粉丝点击