hadoop-impala十大优化之(6)—控制资源使用最佳实践
来源:互联网 发布:javascript dom编程 编辑:程序博客网 时间:2024/06/05 11:01
1.1 hadoop-impala十大优化之(6)—控制资源使用最佳实践
有时,平衡原始查询性能对可扩展性需要限制的资源量,如内存或中央处理器,使用一个单一的查询或组查询。Impala可以使用多种机制,有助于消除负荷重的同时使用时,产生更快的整体查询时间和资源在Impala查询,MapReduce工作共享,以及其他在CDH集群工作负载:
Impala的接纳控制功能使用快速、分布式机制来阻止超过并行查询或使用的内存量的限制查询。查询是排队的,并执行其他查询完成和资源可用。您可以控制并发限制,并为不同的用户组指定不同的限制,根据不同类别的用户的优先级来划分群集资源。这个功能是新的Impala1.3,并与CDH 4和CDH5。查看接纳控制和查询队列的详细信息。
你可以限制内存Impala的储备量在查询执行过程中通过指定的impalad守护的mem_limit选项。看到修改细节Impala的启动选项。此限制仅适用于内存的查询直接引用;Impala储备额外的内存在启动时,例如举行缓存元数据。
生产部署,Cloudera的建议你实现资源隔离使用机制如C组,您可以使用Cloudera管理。详情在Cloudera管理文档查看静态资源池。
0 0
- hadoop-impala十大优化之(6)—控制资源使用最佳实践
- hadoop-impala十大优化之(8)—impala优化之HDFS缓存最佳实践
- hadoop-impala十大优化之(5)—基准Impala查询最佳实践
- hadoop-impala十大优化之(7)—Impala查询运行时过滤最佳实践
- Hadoop-impala十大优化之(2)—impala连接查询性能优化及最佳实践
- Hadoop-impala十大优化之(3)—impala表和列信息统计操作最佳实践
- Hadoop-impala十大优化之(4)—根据执行计划进行性能优化及最佳实践
- Hadoop-impala十大优化之(4)—根据执行计划进行性能优化及最佳实践
- Hadoop-Impala优化十大指导原则和最佳实践
- Hadoop-Impala十大优化系列之(1)—分区表优化-8个方法让分区最优化
- Impala实践之十:impala最佳实践(转、译、整理)
- Impala实践之十五:Impala使用文档
- Impala亲密接触之10:impala最佳实践(转、译、整理)
- 十大最佳存储实践
- hadoop-Impala 5.7性能优化系列-10大优化思路
- 业务连续管理(BCM)十大最佳实践标准
- Impala之04-Impala 如何使用 Hadoop 文件格式【译】
- SQL-Server十大最佳存储实践
- HTML调用手机摄影头
- 相机标定原理
- PostgreSQL数据库创建、删除、角色权限
- 纯CSS模仿百度导航
- UART,RS232,RS485串口等区别
- hadoop-impala十大优化之(6)—控制资源使用最佳实践
- 数据库(三)关系数据库标准语言(3)
- 详解大端模式和小端模式
- 解答“ios打包是否需要安装xcode”
- js冲突怎么解决
- Visual Studio 2015中文显示乱码问题
- 工薪阶层如何攒钱
- Java WebService 简单实例
- ON DUPLICATE KEY UPDATE使用中出现的问题