汇总运行在Hadoop YARN上的开源系统

来源：互联网发布：淘宝网怎么注册卖家编辑：程序博客网时间：2024/05/23 23:23

本文汇总了目前正在进行中的一些尝试将系统运行在YARN上的项目（很多项目狠不完善，有兴趣的可以参与进去，这是机会。），这些项目涉及分布式领域各个方面的系统，包括离线处理、在线计算、图算法、迭代式算法等，从这些项目可以看出来，在将来，YARN将变成一个轻量级的IAAS层，统一管理和调度各种系统，进而逐步实现所谓的“大集群理念”。

1.MapReduce On YARN：YARN天生支持，目前已非常完善（从YARN将要发布2.1.0-beta版可看出，较之前版本，这一块基本没有修改）。

2.Tez On YARN：一个DAG计算框架，直接修改自MapReduce，继承了MapReduce的扩展性好和容错性好等优点，https://issues.apache.org/jira/browse/TEZ。

3. Storm On YARN：实时计算框架Storm运行在YARN上，https://github.com/yahoo/storm-yarn ，项目状态：开发进行中，已发布一个版本。

4. Spark On YARN：实时/内存计算框架Spark运行在YARN上：https://github.com/tweetmagik/spark-yarn ，项目状态：已可用。

5. BSP On YARN：BSP模型在YARN上的实现：https://github.com/jpatanooga/KnittingBoar ，项目状态：发布一个实验版本。

6. HBase On YARN：HBase运行在YARN上，https://issues.apache.org/jira/browse/HBASE-4329，项目状态：进行中，Hortonworks开源的Hoya：http://hortonworks.com/blog/introducing-hoya-hbase-on-yarn/，项目状态：进行中。

7. Kafka On YARN：Kafka运行在YARN上，https://github.com/kkasravi/kafka-yarn，项目状态：进行中。

8. Giraph On YARN：图算法库运行在YARN上，https://issues.apache.org/jira/browse/GIRAPH-13 ，项目状态：进行中。

9. MPI on YARN：MPI运行在YARN上，https://issues.apache.org/jira/browse/MAPREDUCE-2911 ，项目状态：进行中（该项目是所有项目中最难的，简单将mpich移植打破YARN上，比如这个实现：mpich2-yarn，意义不大，YARN当前的调度模型决定了难以将MPI移植到YARN上，同时保证MPI本身的各种优化机制不丢失）。

直接在YARN上编写和管理应用程序是比较麻烦的，因此在这两方面，也有一些项目在进行中：

10. YARN Application Management：http://continuuity.github.io/weave/ ，项目状态：已可用。

11. Write application on YARN：https://github.com/cloudera/kitten ，项目状态：已可用。

原创文章，转载请注明：转载自董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/run-systems-on-hadoop-yarn/

0 0