企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介
来源:互联网 发布:人工智能要从娃娃抓起 编辑:程序博客网 时间:2024/05/14 23:03
3. HDFS架构简介
u NameNode是主节点,存储文件的元数据如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在DataNode等。
u DataNode 在本地文件系统存储文件块数据,以及块数据的校验和。
u Secondary NameNode 用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。
4. YARN架构简介
u ResourceManager
Ø 处理客户端请求
Ø 启动/监控ApplicationMaster
Ø 监控NodeManager
Ø 资源分配与调度
u NodeManager
Ø 单个节点上的资源管理
Ø 处理来自ResourceManager的命令
Ø 处理来自ApplicationMaster的命令
u ApplicationMaster
Ø 数据切分
Ø 为应用程序申请资源,并分配给内部任务
Ø 任务监控与容错
u Container
Ø 对任务运行环境的抽象,封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息
0 0
- 企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介
- 企业级Hadoop 2.x入门系列之八HDFS和YARN的启动方式
- 企业级Hadoop 2.x入门系列之七YARN的Shell操作与管理
- 企业级Hadoop 2.x入门系列之六HDFS的Shell操作与管理
- 企业级Hadoop 2.x入门系列之一Apache Hadoop 2.x简介与版本
- Hadoop连载系列之四:Hadoop分布式文件系统HDFS
- 企业级Hadoop 2.x入门系列之三将Hadoop 2.x源码导入Eclipse中
- hadoop之hdfs和yarn
- 企业级Hadoop 2.x入门系列之二Hadoop 2.2.0源码编译
- 企业级Hadoop 2.x入门系列之九Hadoop核心配置文件的默认配置解读
- Hadoop 2.x HDFS和YARN的启动方式
- Hadoop 2.x HDFS和YARN的启动方式
- 企业级Hadoop 2.x入门系列之十二入门视频分享
- 企业级Hadoop 2.x入门系列之五Hadoop2.2 伪分布式安装
- 企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志
- 企业级Hadoop 2.x入门系列之十一MapReduce Uber 模式
- YARN资源管理和调度简介
- Hadoop系列之六:分布式文件系统HDFS
- 使用AWS亚马逊云搭建Gmail转发服务(一)
- magento目录解析
- 数据可视化-------图解“博士是什么”
- 徒手打造一款PK 名片全能王 的名片识别应用
- 关于Java中FileOutputStream的一点细节问题
- 企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介
- 天声人語 20141231
- 伸展树
- 徒手打造一款PK 名片全能王 的名片识别应用--名字篇之(如何100%准确提取名字)
- 日经春秋 20141231
- java基础---StringBuilder 和 StringBuffer
- 立体图【模拟】
- 安全考试
- 日经社説 20141231 法人税の改革をさらに前進させよ