yarn timeline 服务

来源:互联网 发布:黄海波真相 知乎 编辑:程序博客网 时间:2024/06/06 07:19

介绍

应用现在和历史的信息的存储和检索是在yarn中通用的特性,通过timeline服务器。她负责两个方面:


保有应用独有的信息:


应用或者框架独有的信息整体的收集和检索。比如说:mapreduce框架可以包括信息的片段:像是一些map任务,reduce任务等等。应用开发者可以通过timeline client发布特定的信息给timeline server,在application master或者应用的containers中。


保有关于完整应用的通用信息


之前application history 服务器的mapreduce任务会完全支持这项特性。timeline server引入之后,application history server变成了timeline server中的一项用途。


通用性信息包括应用级别的 数据包括:队列名字,用户信息,还有在application submission context中的数据集,一个应用尝试的列表,container,还有container的信息。


现有的特性和未来的计划:


现有的特性:


1:timeline server的核心功能已经完成。

2:安全和非安全集群都能支持。

3:timeline 仓库中构建通用的历史服务

4:历史可以存储在内存中,也可以存储在数据库中,数据库中的信息包含timeline server重启之前的信息。

5:安装框架的特定界面的功能现在还不被支持

6:应用特定的信息只是在RESTFul 的API使用JSON类别内容中有效。

7:未来版本会保持timeline server的API,并且会扩展特性

8:timeline服务器的单节点在服务扩展性上有限制,同时也不支持HA


未来计划


1:未来版本会带来新一代的可扩展,高可用的timeline服务

2:服务的扩展特性使用timeline server V1的API不会被支持。



OK ,我的这个版本的HADOOP是2.6,应该还不支持2.7的特性,blablabla

0 0
原创粉丝点击