Apache Hadoop 2.3.0
来源:互联网 发布:网络小贷公司英文翻译 编辑:程序博客网 时间:2024/06/06 09:24
Apache Hadoop 2.3.0由以前稳定的(hadoop-1.x)改善组成。
下面是对HDFS和MapReduce的改善的一个简短的概括。
HDFS Federation
为了扩展名称服务水平,联合使用多个独立的namenodes或命名空间。Namenodes是联合起来的,也就是说,Namenodes是独立的,不需要协调彼此。通过所有的Namenodes块,datanodes被作为公用的存储。在集群中每一个datanode向所有的Namenodes登记。Datanodes从Namenodes周期性的发送心跳,块报告和处理命令。
MapReduce NextGen aka YARN aka MRv2
在Hadoop-0.2.3中介绍了新的结构,将Job Tracker分成了两大重要的功能:资源管理和任务声明周期管理成为了分离的元件。
ResourceManager管理了计算资源全局分配的应用,每一个应用程成的ApplicationMaster管理应用程序,调度和协调。
一个应用程序是在经典的MapReduce工作或一个DAG工作意义上的一个单一的工作。
ResourceManager和每台机器的NodeManager守护进程形成了计算结构,他们管理了用户过程。
每次应用ApplicationMaster是一个明确库的框架,他的任务是由ResourceManager和NodeManager工作执行并监控任务的协调资源。
0 0
- Apache Hadoop 2.3.0
- Apache Hadoop 2.3.0 发布
- Apache Hadoop 2.3.0 Released!
- (0) 什么是Apache Hadoop
- Apache Hadoop 2.4.0 Released!
- Apache Hadoop 2.3.0三大重要的提升
- hadoop--Apache Hadoop生态系统
- Apache Hadoop 2.2.0集群安装
- Apache Hadoop 2.4.0已经发布
- Apache Hadoop 2.6.0 新特性
- Apache Hadoop 2.6.0 新特性
- Apache Hadoop 2.6.0安装部署
- Apache Hadoop 2.6.0 MapReduce Tutorial
- install Apache Hadoop 2.6.0 in Ubuntu
- Apache Hadoop 3.0.0-alpha1主要改进
- Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0]
- Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0]
- Apache Hadoop 项目介绍
- 小谈Android应用的电量消耗和优化策略
- 2014CVTE招聘之一面
- Linux/Unix 下 替代svn diff的可视化工具
- js读取CSV格式数据
- 第五章 习题(二)
- Apache Hadoop 2.3.0
- 安装SQL SERVER 2008时如何 解决Reporting Services目录数据库文件存在的问题
- 学习“5S”管理心得体会
- makefile的学习资料——跟我一起写 Makefile(全)
- vim安装molokai.vim配色方案
- 让Json更懂中文(JSON_UNESCAPED_UNICODE)
- 向朋友们推荐一本不错的网站
- C#遍历文件夹, 获取文件/目录信息
- NSCollectionView 基础