Hadoop 2.0的两种RPC
来源:互联网 发布:神龙网络营销软件下载 编辑:程序博客网 时间:2024/05/07 18:26
Hadoop 2.0中存在两个ipc包, 分别在hadoop-common和hadoop-yarncommon项目下. 分别为hadoop RPC和新的YarnRPC.
1. 使用hadoop ipc包的协议
原有的协议
协议名
客户端
服务端
主要方法
ClientProtocol
Client
Namenode
DatanodeProtocol
DN
NN
NamenodeProtocol
SNN
NN
RefreshAuthorizationPolicyProtocol
Client
NN
RefreshUserMappingsProtocol
Client
NN
GetUserMappingsProtocol
Client
NN
TaskUmbilicalProtocol
YarnChild(运行task的containner)
AM
状态更新, 获取map结束事件等
2. 使用YarnRPC的协议
这些都是用在yarn上的协议, 并且都是0.23开始新增的协议.
协议名
客户端
服务端
主要方法
ClientRMProtocol
Client
RM
提交,查询,kill AM等
AMRMProtocol
AM
RM
注册, 结束AM, 请求资源
ContainerManager
AM
NM
启动, 停止, 查询 container
RMAdminProtocol
Client
RM
刷新node, queu, acl等
HSClientProtocol
Client
HistoryServer
继承于MRClientProtocol
MRClientProtocol
Client
AM
获取job/task信息, kill job/task等
下图显示了yarn中各个进程使用的协议.
3. 为什么要新增YarnRPC呢
事实上, YarnRPC只是封装了hadoop-common的ipc, 最终还是使用了hadoop-common的ipc包, 包括server和client, 所以底层的网络通信方法是一样的.
新增的协议都使用了YarnRPC包,
至于底层使用何种序列化方式, 可以通过配置决定:
yarnRPC的底层序列化方式: yarn. ipc. serializer.type 默认为protocolbuffers
hadoop-common RPC的序列化方式: rpc.engine.( protocol.getName()) 默认为WritableRpcEngine
原文链接:http://www.cnblogs.com/shenh062326/archive/2012/12/16/YRRN_RPC.html
- Hadoop 2.0的两种RPC
- hadoop 2.0 中的两种RPC详解
- hessian构建RPC的两种方式
- hadoop的RPC分析
- hadoop的RPC
- hadoop------RPC的Client
- hadoop------RPC的Server
- Hadoop的RPC机制
- hadoop的rpc理解
- hadoop的RPC机制
- HADOOP的RPC机制
- Hadoop的RPC实现
- Hadoop的RPC机制
- Hadoop的RPC实现
- 两种RPC编程
- Hadoop的RPC机制浅谈
- Hadoop的rpc机制分析
- Hadoop的RPC通信原理
- centos安装jdk、tomcat、maven搭建java环境
- psql工具的使用
- 83. Remove Duplicates from Sorted List--LeetCode Record
- Android App 沉浸式状态栏解决方案
- $_SERVER['PHP_SELF']、$_SERVER['SCRIPT_NAME'] 与 $_SERVER['REQUEST_URI'] 三者的区别
- Hadoop 2.0的两种RPC
- javaweb
- Git教程
- 自定义ToolBar
- 关于Centos7下搭建LNMP环境的问题小结
- linux shell 编程(四)
- 找工作 /*赶集网,58同城弱爆了 如何解决就业失业难题,赚取最多的钱*/ ------->>> 奶牛&FJ!!!
- C++ 对象的内存布局(上)
- 1040 最大公约数之和