hadoop2.x与Hadoop1.x区别

来源:互联网 发布:诺亚 知乎 编辑:程序博客网 时间:2024/05/22 01:37
hadoop2.x与Hadoop1.x区别:
(1)2.x比1.x从性能上有很大增强
(2)Hadoop1中的JobTracker是一个功能集中的部分,负责资源的分配和任务的分配,所以JobTracker单点出问题就会造成整个集群无法使用了,而且MapReduce模式是集成在Hadoop1中,不易分解;Hadoop2中,ResourceManager(RM)就是负责资源的分配,NodeManager(NM)是从节点上管理资源的,而ApplicationMaster(AM)就是一个负责任务分配的组件,根据不同的模式有不同的AM,因此MapReduce模式有自己独有的AM;
(3)1.x版本没有Namenode Federation功能,只能有一个NameNode;而2.x添加了,还可以有多个NameNode同时运行,每个负责集群中的一部分
(4)1.x版本没有Namenode Ha功能,只能有一个NameNode;而2.x添加了,解决了namenode单点故障问题 (5)解决对MapReduce之外的框架支持问题。