【每周论文】Quasar: Resource-Efficient and QoS-Aware Cluster Management
来源:互联网 发布:淘宝子账号分流设置 编辑:程序博客网 时间:2024/06/06 12:26
记得从去年第一次在组会上讲论文时讲了Christina Delimitrou的HCloud论文后,陆陆续续的一直在读她的论文,并在今年4月份的ASPLOS和她有了一张合影(当时我心里的那个忐忑啊,想和她搭讪又不敢)。
这篇论文发表自2014年的ASPLOS(这些年她好像每年都会中一篇ASPLOS,膜拜),依旧是关于数据中心非常棘手的一个问题:现在数据中心的成本都非常高,各大厂商都在努力提高集群的性能和灵活度来达到很高的经济效益,但是现在大部分的集群资源利用率依旧非常的低(前段时间和阿里云的大佬们聊时了解到,阿里云现在的集群平均利用率能达到40%,目标是希望能达到60%),这样严重的影响到了公司的经济效益和以后集群的扩展性。
这篇文章提出了Quasar,它通过对负载需要的资源进行预测和自动分配来对集群进行管理,同时提高资源利用率并保证应用的性能不受影响。它整个框架分为三部分。
- Quasar提供了一个高层次的接口来让用户描述它们对负载的性能需求给调度器,不同的负载对性能的需求不同,当然接口也不相同。对于分布式框架如hadoop,其限制条件就是执行的时间;对于延迟敏感型应用,限制条件则为每秒钟的查询次数和延迟QoS的限制等。
- Quasar使用了快速分类技术对不同的负载进行评估,例如不同的资源和不同的资源调度对负载的性能会产生什么样的影响?分类的结果就是准确的估计了当我们考虑了不同数目的服务器、单个服务器上的资源数量和来自其他负载的干扰时该负载的性能,Quasar通过将分类评估的问题分解为几个小的部分来降低了分类的复杂度。
- Quasar使用第二部分的分类结果来进行资源的分配,它同时使用了监控系统,当机器有空闲资源的情况下,负载的性能没有得到满足(即使负载发生了变化,例如job内部阶段发生了变化)都说明这个分类是不正确的或者贪心算法导致了次优解,无论是是什么导致分类不正确,只要条件允许Quasar都会调整资源的分配或者重新对负载进行分类和调度。
Quasar的代码行数我是非常诧异的,只有6K代码,增加一个应用也只需要几百行代码,在这样的前提下能对应用性能带来那么大的提升真的很赞。
- Single batch job(纯粹hadoop):平均提升29%到58%。
- Multiple Batch Frameworks performance(Hadoop,Storm, and Spark混合):提升27%。
- Large-Scale Cloud Provider:从15%的cpu利用率提升到62%,提升47%。
阅读全文
0 0
- 【每周论文】Quasar: Resource-Efficient and QoS-Aware Cluster Management
- 【每周论文】Paragon: QoS-Aware Scheduling for Heterogeneous Datacenters
- 【每周论文】Graphene: Packing and Dependency-aware Scheduling for Data-Parallel Clusters(OSDI 2016)
- ICDE2013论文翻译草稿:CPU and Cache Efficient Management of Memory-Resident Databases
- Android Applications and Resource Management
- 【每周论文】Heracles: Improving Resource Efficiency at Scale
- QoS and QoE Management in UMTS Cellular Systems
- Fast and Efficient Context-Aware Services (Wiley Series on Communications Networking & Distributed S
- C# Dispose, Finalization, and Resource Management
- 13.2. Copy Control and Resource Management
- 论文笔记:Efficient and Accurate Approximations of Nonlinear Convolutional Networks
- EAST:An Efficient and Accurate Scene Text Dectector 论文笔记
- TreeFTL:Efficient RAM Management for High Performance of NAND Flash-based Storage Systems-论文注释笔记
- 【论文阅读笔记】MULTI-SCALE DENSE NETWORKS FOR RESOURCE EFFICIENT IMAGE CLASSIFICATION
- 【每周论文】Xen and the Art of Virtualization
- New data structures and algorithms for the efficient management of large spatial datasets
- Apache Spark Resource Management and YARN App Models
- Apache Spark Resource Management and YARN App Models
- AOP和IOC
- 数据库三:浅谈数据库事务(transaction)
- 【Java概念】运算符(3)
- 各种hash算法合集
- 实战7.Spark Streaming(上)--Spark Streaming原理介绍
- 【每周论文】Quasar: Resource-Efficient and QoS-Aware Cluster Management
- VMware Workstation12|Mac OS X后怎么安装VMware Tools?
- createjs 使用方法简介
- iOS【TabBar菜单push隐藏菜单栏转场动画(仿<京东> 及 <东方财富通> tabBar效果)】
- 实战7.Spark Streaming(下)--Spark Streaming实战
- oracle常用函数
- 微信小程序之请求400(Bad Request)
- 道路升级(分层图)
- 实战8.Spark MLlib(上)--机器学习及SparkMLlib简介