Hadoop集群(第5期)_Hadoop安装配置
来源:互联网 发布:己知二次函数的图像 编辑:程序博客网 时间:2024/06/06 20:58
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。
对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个Job被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。
从上面的介绍可以看出,HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。
来源 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- iOS app支付宝接口调用
- 第十六周上机项目4-奇数因子
- SWT事件的四种写法
- Xcode编写C/C++程序
- seo技术第一天:SEO是什么
- Hadoop集群(第5期)_Hadoop安装配置
- C语言 &运算
- java四舍五入
- 显示pdf等
- Java--设计模式之代理模式
- 11个遇事有水平的处理方法
- yacc语法笔记
- axis 使用 wsdl 文件 生成 webservice的 client 端 ,并传送数据的解决方案
- 【python】获取linux主机ip的一种方法