yarn学习之基础库
来源:互联网 发布:神经网络数据融合 编辑:程序博客网 时间:2024/06/17 23:25
与MRv1的JobTracker相比,yarn的实现要复杂很多,在借鉴MRv1的一些底层基础库(RPC框架)的基础上,引入了很多新内容,基础库更多
YARN 基础库是其他一切模块的基础, 它的设计直接决定了 YARN 的稳定性和扩展性,概括起来, YARN 的基础库主要有以下几个。❑ Protocol Buffers : Protocol Buffers 是 Google 开源的序列化库, 具有平台无关、 高性能、 兼容性好等优点。 YARN 将 Protocol Buffers 用到了 RPC 通信中, 默认情况下, YARN RPC 中所有参数采用 Protocol Buffers 进行序列化 / 反序列化, 相比于MRv1 中基于自定义 Writable 框架的方式, YARN 在向后兼容性、 扩展性等方面提高了很多。❑ Apache Avro : Avro 是 Hadoop 生态系统中的 RPC 框架, 具有平台无关、 支持动态模式(无需编译) 等优点, Avro 的最初设计动机是解决 YARN RPC 兼容性和扩展性差等问题, 目前, YARN 采用 Avro 记录 MapReduce 应用程序日志(用于故障后应用程序恢复), 今后可能代替 Protocol Buffers 作为 RPC 辅助库(至少会作为一个可选方案)。❑ RPC 库 : YARN 仍采用了 MRv1 中的 RPC 库, 但其中采用的默认序列化方法被替换成了 Protocol Buffers。❑ 服务库和事件库 : YARN 将所有的对象服务化, 以便统一管理(比创建、 销毁等),而服务之间则采用事件机制进行通信, 不再使用类似 MRv1 中基于函数调用的方式。❑ 状态机库 : 状态机是一种表示有限个状态以及在这些状态之间的转移和动作等行为的数学模型。 在 YARN 中, 很多对象都是由若干状态组成的, 且当有事件发生时,状态之间会发生转移, 比如作业、 任务、 Container 等, 而 YARN 正是采用有限状态机描述一些对象的状态以及状态之间的转移。 引入状态机模型后, 相比 MRv1,YARN 的代码结构更加清晰易懂了。
阅读全文
0 0
- yarn学习之基础库
- Hadoop之Yarn学习(一)
- Spark学习之14:Spark on Yarn
- hadoop学习笔记之深入了解YARN
- YARN学习
- spark基础之基于yarn两种提交模式分析
- yarn 命令学习:yarn application
- Hadoop-2.2.0学习之三YARN简介
- Hadoop-2.2.0学习之三YARN简介
- 大数据hadoop学习之---Yarn 体系架…
- Hadoop YARN学习之Hadoop框架演进历史简述
- Hadoop YARN学习之核心概念(2)
- Hadoop YARN学习之组件功能简述(3)
- Hadoop YARN学习之监控集群监控Nagios(4)
- Hadoop YARN学习之重要术语总结(6)
- Hadoop学习之HDFS/MapReduce/YARN进程介绍
- 【学习笔记】nodejs之包管理npm/yarn
- YARN学习笔记
- 畅通工程 HDU
- leetcode[Set Mismatch]//待整理多种解法
- SSM框架搭建
- oracle报错,“未明确定义列”,是什么意思?
- unity3d-连接mysql数据库
- yarn学习之基础库
- 深度学习 课程 资料 收集
- 使用 ROT13 算法加密解密数据
- zmain_ext_addr()函数研究(转)
- CSU 1826 Languages map和stringstream
- 欢迎使用CSDN-markdown编辑器
- ubuntu 终端快捷键
- 开始ubuntu开发配置环境
- snprintf(), fwrite(),fread() ,fprintf() ,fseek() ,ftell()