Hadoop学习笔记(二)浅谈Hadoop守护进程
来源:互联网 发布:5x兴趣社区淘宝商店 编辑:程序博客网 时间:2024/06/06 01:44
Hadoop初学笔记(二)浅谈Hadoop守护进程
对于分布式系统架构来说,一般而言分成两个部分:
管理层,用于对应用层的管理
应用层,用于任务的执行
在Hadoop中,主要的后台守护进程包括:
NameNode元数据服务器
主节点,存储文件的元数据(文件名,文件目录结构,文件属性——生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等
SecondaryNameNode辅助元数据服务器
用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据快照
DataNodes块存储
在本地文件系统存储文件块数据,以及块数据校验和
JobTracker任务调度
负责接收用户提交的作业,负责启动、跟踪任务执行
TaskTrackers任务执行
负责执行由JobTracker分配的任务,管理各个任务在每个节点的执行情况
HDFS分布式文件系统
NameNode:属于管理层,用于管理数据
SecondaryNameNode:属于管理层,辅助NameNode管理
DataNodes:属于应用层,用于数据的存储,被NameNode管理里,定时向NameNode进行工作汇报,执行NameNode分配分发的任务
MapReduce分布式并行计算框架
JobTracker:属于管理层,管理集群资源与对任务调度,监控任务的执行
TaskTracker:属于应用层,执行JobTracker分配分发的任务,并向JobTracker汇报任务的执行情况
0 0
- Hadoop学习笔记(二)浅谈Hadoop守护进程
- hadoop学习笔记 Hadoop进程
- Hadoop守护进程
- Hadoop学习笔记(二)
- Hadoop学习笔记二
- Hadoop学习笔记二
- hadoop学习笔记二
- hadoop学习笔记(二)
- hadoop的五个守护进程
- Hadoop系统的守护进程
- Hadoop的几个守护进程
- hadoop的五个守护进程
- hadoop集群基本守护进程
- Hadoop HDFS源码学习笔记(二)
- Hadoop学习笔记(二)helloworld
- Hadoop学习笔记(二)HDFS
- Hadoop笔记(二)
- Hadoop学习笔记二---HDFS
- 仿Android5.0 Heads-Up风格的Toast提示
- PCB的布局原则
- android4.4以上,实现状态栏颜色设置
- js:有关TypeError: invalid 'in' operand obj的错误
- 福昕阅读器快速删除书签的方法
- Hadoop学习笔记(二)浅谈Hadoop守护进程
- Mybatis简单入门<学习随笔>
- SecureCRT配置
- 程序3——二叉树的前中后层序遍历
- 根据文件相对路径获得文件的绝对路径(windows)
- 被忽略却很有用的html标签
- java 集合类
- 关于使用Python3进行网络爬虫的字符问题
- Vim技巧