hadoop1.x 和 hadoop 2.x 区别, 2.5 2.6 2.7之间的区别

Copyright 2016 by 蔡舒啸 保持署名-非商业性使用-相同方式共享 Creative Commons BY-NC-ND 3.0

---

目录

---

1.x 2.x 区别 相当不错 http://f.dataguru.cn/thread-212329-1-1.html

2.5.2中功能提升的简单概述：

Common

　　1、 HTTP proxy server中的权限控制(Authentication)有所提升。如果你通过代理服务器（proxy server）来访问WebHDFS 是很有用的。
　　2、新增了一个Hadoop metrics sink，允许用户直接向Graphite写数据；
　　3、 Hadoop Compatible Filesystem (HCFS) ，模块也做也想过的工作。

HDFS

　　1、支持POSIX风格文件系统的扩展属性，详情请参见文档http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/ExtendedAttributes.html
　　2、通过WebHDFS API，clients可以利用OfflineImageViewer浏览fsimage；
　　3、NFS gateway修复了一些bug，并带来了一系列的功能提升。 Hadoop portmapper 不再需要运行gateway，因为gateway现在能够拒绝来自非特权端口上的连接请求；
　　4、SecondaryNameNode, JournalNode和DataNode web UIs页面已经用HTML5 和Javascript重写了。

YARN

　　1、YARN中REST APIs现在支持写、更改操作。用户可以通过REST APIs来提交或者杀死作业。
　　2、YARN中存储的timeline，用于存储application中的一般或者特殊信息，目前支持Kerberos安全控制。
　　3、Fair Scheduler支持用户队列的动态分级，用户可以在任何父队列中动态的创建队列

　　更多的更新信息请参见Apache Hadoop 2.5.2的用户文档http://hadoop.apache.org/docs/r2.5.2/index.html
　　

2.6

Hadoop Common

　　1、Key management server (beta版本)。Hadoop KMS是基于KeyProvider API的密钥管理服务器，它是一个Java web应用程序，内部提供了客户端和服务器组建，它们之间通过REST API在HTTP协议上通信。客户端是KeyProvider的一种实现，并通过KMS HTTP REST API和KMS交互。KMS和它的客户端内置了安全机制，支持HTTP SPNEGO Kerberos授权和HTTPS安全传输。Hadoop KMS对Hadoop和Hadoop用户来说是一个安全网关。它为现有的Hadoop安全组建（authenticatication, confidentiality）提供了相应的接口。(HADOOP-10433)
　　2、Credential provider(beta版本)。它是credential providers内部提供管理credentials, passwords and secrets的命令(HADOOP-10922、HADOOP-11031、HADOOP-10607)

Hadoop HDFS

　　1、异构的存储层进入到第二阶段，主要更新有：（1）、异构存储的应用程序API；（2）、SSD存储层；（3）、内存作为存储层(beta版本)。
　　2、支持Archival存储
　　3、Transparent data at rest encryption
　　4、操作安全的DataNode，无需root访问权限（Operating secure DataNode without requiring root access）。
　　5、热插拔驱动器，支持动态的添加、删除DataNode上面的磁盘，而不需要重启DataNode(beta版本)。
　　6、AES(Advanced Encryption Standard)支持快速的wire encryption。

Hadoop YARN

　　1、在YARN中支持长时间运行的服务，支持应用程序的服务注册。
　　2、支持滚动升级：（1）、ResourceManager上的工作可以保存起来，并可以继续运行;（2）、NodeManager上的Container可以保存起来，，并可以继续运行。
　　3、Support node labels during scheduling；
　　4、在CapacityScheduler中支持基于时间的资源保留(beta版本)；
　　5、为application artifacts提供了一个全局的，共享内存(beta版本)；
　　6、支持在Docker容器中本地地运行applications(alpha版本)。

2.7

从2.7版本开始, Hadoop 依赖于 Java 7. It is built and tested on both OpenJDK and Oracle (HotSpot)’s JDK/JRE.

Hadoop Common

　　1、支持Windows Azure Storage，BLOB作为Hadoop中的文件系统。

Hadoop HDFS

　　1、支持文件截断（file truncate）；
　　2、支持每个存储类型配额(Support for quotas per storage type);
　　3、支持可变长度的块文件

Hadoop YARN

　　1、YARN安全模块可插拔
　　2、YARN的本地化资源可以自动共享，全局缓存（测试版）

Hadoop MapReduce

　　1、能够限制运行的Map/Reduce作业的任务
　　2、为非常的大Job（有许多输出文件）加快了FileOutputCommitter。

2.7

2.7.0 非稳定版 -> 2.7.1(stable, 06 July, 2015) 2.7.2

Hadoop Common

　　1、支持Windows Azure Storage，BLOB作为Hadoop中的文件系统。

Hadoop HDFS

　　1、支持文件截断（file truncate）；
　　2、支持每个存储类型配额(Support for quotas per storage type);
　　3、支持可变长度的块文件

Hadoop YARN

　　1、YARN安全模块可插拔
　　2、YARN的本地化资源可以自动共享，全局缓存（测试版）

Hadoop MapReduce

　　1、能够限制运行的Map/Reduce作业的任务
　　2、为非常的大Job（有许多输出文件）加快了FileOutputCommitter。

2.7.2

Here is a short overview of the major features and improvements.

Common

Authentication improvements when using an HTTP proxy server. This is useful when accessing WebHDFS via a proxy server.
A new Hadoop metrics sink that allows writing directly to Graphite.
Specification work related to the Hadoop Compatible Filesystem (HCFS) effort.
HDFS

Support for POSIX-style filesystem extended attributes. See the user documentation for more details.
Using the OfflineImageViewer, clients can now browse an fsimage via the WebHDFS API.
The NFS gateway received a number of supportability improvements and bug fixes. The Hadoop portmapper is no longer required to run the gateway, and the gateway is now able to reject connections from unprivileged ports.
The SecondaryNameNode, JournalNode, and DataNode web UIs have been modernized with HTML5 and Javascript.
YARN

YARN’s REST APIs now support write/modify operations. Users can submit and kill applications through REST APIs.
The timeline store in YARN, used for storing generic and application-specific information for applications, supports authentication through Kerberos.
The Fair Scheduler supports dynamic hierarchical user queues, user queues are created dynamically at runtime under any specified parent-queue.