Hadoop RPC框架简单理解

来源:互联网 发布:javascript获取子元素 编辑:程序博客网 时间:2024/05/16 19:38

举个例子:


我们集群Hbase或者是Hdfs在进行数据写入时,回去在三台节点上做同样的操作,比如说一个mapreduce要把一个文件数据写入hdfs,这时候他肯定要去掉一个写入的函数,因为我写入的文件其实也是同一个,所以也就是我传入函数的参数也是一样的,这时候我的主节点要做一个操作,就是我要在我所有要写入数据的子节点去调用相同的函数,切传入相同的参数,这时候你就要保证远程网络访问时传参数,调用函数的一致性,也就相当于你每台机器都有一份相同的密码表,跟你传入的参数,调用的函数成k-v的形式,来保证我每台服务器的调用都一致,这样还是不够的,你既然有了数据传输,肯定要做数据序列化,所以节点之间的序列化方法也要保持一致,最后,你既然有网络传输,就要用到网络传输协议,所以像TCP、UDP等网络传输协议就成了底层网络传输协议的选择!


总结,要满足RPC框架,就要满足以下几点:

1、你传输到远程服务器上的东西要翻译正确,翻译统一,这时候要有一个统一协议

2、序列化方式统一

3、底层有统一的网络传输协议

原创粉丝点击