Impala 5、Impala 性能优化
来源:互联网 发布:单片机时序图 编辑:程序博客网 时间:2024/05/19 16:37
• 执行计划
– 查询sql执行之前,先对该sql做一个分析,列出需要完成这一项查询的详细方案
– 命令:explain sql、profile
要点:
• 1、SQL优化,使用之前调用执行计划
• 2、选择合适的文件格式进行存储
• 3、避免产生很多小文件(如果有其他程序产生的小文件,可以使用中间表)
• 4、使用合适的分区技术,根据分区粒度测算
• 5、使用compute stats进行表信息搜集
• 6、网络io的优化:
– a.避免把整个数据发送到客户端
– b.尽可能的做条件过滤
– c.使用limit字句
– d.输出文件时,避免使用美化输出
• 7、使用profile输出底层信息计划,在做相应环境优化
• 8、如果是刷新表的新增元数据要使用refresh 表名 来刷新,不要使用impala-shell -r 或 invalidate metadata
• 9、如果执行SQL的结果内容较多的话可以使用 impala-shell -B 将一些不必要的样式输出去掉
阅读全文
0 0
- Impala 5、Impala 性能优化
- Impala 优化
- impala
- IMPALA
- impala
- Impala
- Impala
- Impala
- impala
- Impala
- Impala
- Impala性能调优
- IMPALA性能测试
- Impala优化基本方案
- Impala优化基本方案
- impala内存优化
- hadoop-Impala 5.7性能优化系列-10大优化思路
- Hadoop-Impala性能优化系列开幕--敬请关注
- Impala 4、Impala JDBC
- poj 1065 Wooden Sticks
- 事件分发和滑动冲突知识点总结
- POJ 1185 炮兵阵地(状压DP)
- Python —— 深拷贝 VS 浅拷贝
- Impala 5、Impala 性能优化
- JAVA环境的配置与安装
- HDU 6070 Dirt Ratio
- HDU-6078 Wavel Sequence(dp+树状数组)
- HDU3342:Legal or Not(拓扑排序)
- I
- 盒子模型和box-sizing属性
- 多个ASP.NET站点如何通过ASP.NET State服务共享Session会话
- 暑假集训日记--8.3--搜索