hadoop简介
来源:互联网 发布:风云卫星遥感数据网 编辑:程序博客网 时间:2024/06/05 14:53
从上面的介绍可以看出,HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。
Hadoop使用主/从(Master/Slave)架构,主要角色有NameNode,DataNode,secondary NameNode,JobTracker,TaskTracker组成。
其中NameNode,secondary NameNode,JobTracker运行在Master节点上,DataNode和TaskTracker运行在Slave节点上。
1,NameNode
NameNode是HDFS的守护程序,负责记录文件是如何分割成数据块的,以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。
2,DataNode
集群中每个从服务器都运行一个DataNode后台程序,后台程序负责把HDFS数据块读写到本地文件系统。需要读写数据时,由NameNode告诉客户端去哪个DataNode进行具体的读写操作。
3,Secondary NameNode
Secondary NameNode是一个用来监控HDFS状态的辅助后台程序,如果NameNode发生问题,可以使用Secondary NameNode作为备用的NameNode。
4,JobTracker
JobTracker后台程序用来连接应用程序与Hadoop,用户应用提交到集群后,由JobTracker决定哪个文件处理哪个task执行,一旦某个task失败,JobTracker会自动开启这个task。
5,TaskTracker
TaskTracker负责存储数据的DataNode相结合,位于从节点,负责各自的task
- Hadoop 简介
- Hadoop简介
- Hadoop 简介
- hadoop简介
- Hadoop简介
- Hadoop简介
- Hadoop简介
- Hadoop简介
- Hadoop简介
- Hadoop简介
- Hadoop简介
- Hadoop简介
- hadoop简介
- Hadoop简介
- Hadoop简介
- 简介Hadoop
- hadoop简介
- HADOOP简介
- springmvc常用注解标签详解
- JQuery学习篇--JQquery HTML
- html文本标签笔记
- rem参考值设置
- TransformError Unexpected token node_modules\babel-preset-react-native.........
- hadoop简介
- SCU 2511 Moooo(单调栈模板题)
- 分布式RPC框架性能大比拼 dubbo、motan、rpcx、gRPC、thrift的性能比较
- js实现鼠标滑动背景跟随
- SETP7 Basic V11 SP2
- 归并排序-Java
- 55. Jump Game
- Servlet的生命周期
- FTP 服务安装