Hadoop YARN 简介：相比于MRv1，YA…

最近一段时间，经常看到有人在微博上说，“很多公司暂时用不到YARN，因为一般公司的集群规模并未像Yahoo、Facebook那样达到几千台，甚至将来几万台”。这完全是一种错误的观念，在Hadoop高速发展的时代，必须更正。

实际上，上述观念只看到了YARN的扩展性（Scalability），扩展性是可用可不用的特性，中小型公司将YARN部署到小集群（按照IBM观点，集群规模小于200台的称为中小规模集群，这样的公司找到90%以上）上，可能享受不到扩展性带来的优势，但至少可以获取以下几个收益：

（1） 更快地MapReduce计算

MapReduce仍是当前使用最广泛的计算框架。YARN利用异步模型对MapReduce框架的一些关键逻辑结构（如JobInprogress、TaskInProgress等）进行了重写，相比于MRv1，具有更快地计算速度。当然，YARN具有向后兼容性，用户在MRv1上运行的作业，无需任何修改即可运行在YARN之上。

（2） 对多框架支持

与MRv1相比，YARN不再是一个单纯的计算框架，而是一个框架管理器，用户可以将各种各样的计算框架移植到YARN之上，由YARN进行统一管理和资源分配，由于将现有框架移植到YARN之上需要一定的工作量，当前YARN仅可运行MapReduce这种离线计算框架。

我们知道，不存在一种统一的计算框架适合所有应用场景，也就是说，如果你想设计一种计算框架，可以高效地进行离线计算、在线计算、流式计算、内存计算等，是不可能的。既然没有全能的计算框架，为什么不开发一个容纳和管理各种计算框架的框架管理平台（实际上是资源管理平台）呢，而YARN正是干这件事情的东西。

YANR本质上是一个资源统一管理系统，这一点与几年前的mesos，更早的Torque基本一致。将各种框架运行在YARN之上，可以实现框架的资源统一管理和分配，使他们共享一个集群，而不是“一个框架一个集群”，这可大大降低运维成本和硬件成本。

如果你还没有意识到当前已经进入多计算框架纵横捭阖的新时代，那让我来给你细数一下当前出现的，已小有名气的计算框架吧：

1）MapReduce:这个框架人人皆知，它是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。

2）Spark:我们知道，MapReduce计算框架不适合（不是不能做，是不适合，效率太低）迭代计算（常见于machinelearning领域，比如PageRank）和交互式计算（datamining领域，比如SQL查询），MapReduce是一种磁盘计算框架，而Spark则是一种内存计算框架，它将数据尽可能放到内存中以提高迭代应用和交互式应用的计算效率。官方首页：http://spark-project.org/

3）Storm:MapReduce也不适合进行流式计算、实时分析，比如广告点击计算等，而Storm则更擅长这种计算、它在实时性要远远好于MapReduce计算框架。官方首页：http://storm-project.net/

5） OpenMPI:非常经典的消息处理框架，非常适合高性能计算，现在仍被广泛使用。

6） HAMA:基于BSP（bulk-synchronous parallelmodel）模型的分布式计算框架，与Google的Pregel类似，可用于大规模科学计算，如矩阵，图算法，网络算法等，官方首页：http://hama.apache.org/。

8）Giraph：图算法处理框架，采用BSP模型，可用于计算pagerank，sharedconnections, personalization-basedpopularity等迭代类算法。官方首页：http://giraph.apache.org/

（3） 框架升级更容易

在YARN中，各种计算框架不再是作为一个服务部署到集群的各个节点上（比如MapReduce框架，不再需要部署JobTracler、TaskTracker等服务），而是被封装成一个用户程序库（lib）存放在客户端，当需要对计算框架进行升级时，只需升级用户程序库即可，多么容易！

总结

YARN是在Hadoop 1.0基础上衍化而来的，它具有比Hadoop1.0更为先进的理念和思想，它充分吸取了Hadoop1.0的优势，但同时增加了很多新的特性和改进点。即使你不使用YARN，研究YARN对于改进你们当前Hadoop版本仍有巨大的帮助。

需要说明的是，由于YARN是一个崭新的系统，它完全不同于Hadoop1.0。对于一般公司而言，将旧Hadoop系统往YARN上移植将是一件十分困难的事情，因为不同公司对YARN进行了或多或少的改造，这些改造或许已经不再兼容于主流的Hadoop版本。当向YARN升级时，你需要对兼容性进行充分的测试，以确保当前运行的作业仍可以正常地运行在移植后的系统上。另外，需要引起注意的是，YARN会给运维人员带来巨大的麻烦，毕竟它是一个新系统。

当然，当前YARN还不成熟，仍处于高速酝酿阶段，讨论如何在线上使用它仍为时过早。不过，开始研究和学习它，作为一名有进取心和前瞻眼光的hadoopor，仍是十分必要的。

------------------------------------------------------------------------------------------------------

Hadoop 2.0中的基本术语解释

在阅读Hadoop2.0的相关资料时，很多人将一些概念混淆了，本文将对Hadoop2.0涉及到的术语进行比较全面的介绍。

（1） Hadoop 1.0

第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop1.x和0.21.X，0.22.x。

（2） Hadoop 2.0

第二代Hadoop，为克服Hadoop1.0中HDFS和MapReduce存在的各种问题而提出的。针对Hadoop1.0中的单NameNode制约HDFS的扩展性问题，提出了HDFSFederation，它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展；针对Hadoop1.0中的MapReduce在扩展性和多框架支持方面的不足，提出了全新的资源管理框架YARN(YetAnother ResourceNegotiator)，它将JobTracker中的资源管理和作业控制功能分开，分别由组件ResourceManager和ApplicationMaster实现，其中，ResourceManager负责所有应用程序的资源分配，而ApplicationMaster仅负责管理一个应用程序。对应Hadoop版本为Hadoop0.23.x和2.x。

（3） MapReduce 1.0或者MRv1（MapReduce version 1）

第一代MapReduce计算框架，它由两部分组成：编程模型（programmingmodel）和运行时环境（runtimeenvironment）。它的基本编程模型是将问题抽象成Map和Reduce两个阶段，其中Map阶段将输入数据解析成key/value，迭代调用map()函数处理后，再以key/value的形式输出到本地目录，而Reduce阶段则将key相同的value进行规约处理，并将最终结果写到HDFS上。它的运行时环境由两类服务组成：JobTracker和TaskTracker，其中，JobTracker负责资源管理和所有作业的控制，而TaskTracker负责接收来自JobTracker的命令并执行它。

（4）MRv2（MapReduce version 2）

MapReduce2.0或者MRv2具有与MRv1相同的编程模型，唯一不同的是运行时环境。MRv2是在MRv1基础上经加工之后，运行于资源管理框架YARN之上的MRv1，它不再由JobTracker和TaskTracker组成，而是变为一个作业控制进程ApplicationMaster，且ApplicationMaster仅负责一个作业的管理，至于资源的管理，则由YARN完成。

简而言之，MRv1是一个独立的离线计算框架，而MRv2则是运行于YARN之上的MRv1。

（5） MapReduce 2.0或者YARN或者NextGen MapReduce

Hadoop2.0中的资源管理框架，它是一个框架管理器，为各种框架进行资源分配和提供运行时环境。而MRv2则是运行在YARN之上的第一个计算框架，其他计算框架，比如Spark、Storm等，都正在往YARN上移植。YARN类似于几年前的资源管理系统mesos和更早的Torque。

（6） HDFS Federation

Hadoop2.0中对HDFS进行了改进，使NameNode可以横向扩展成多个，其中，每个NameNode分管一部分目录，这不仅增强了HDFS的扩展性，也使HDFS具备了隔离性。

【参考资料】

Clouderablog：http://blog.cloudera.com/blog/2012/10/mr2-and-yarn-briefly-explained/

#HDFS #linux #hadoop