hive 优化点
来源:互联网 发布:智盟软件电话 编辑:程序博客网 时间:2024/06/05 19:05
1,表分区
2,表分桶
3,index
4,尽量采用orc格式的表
5,合并小文件
6,Local mode running:
hive.exec.mode.local.auto=true
hive.exec.mode.local.auto.inputbytes.max=50000000
hive.exec.mode.local.auto.input.files.max=5
7,jvm reuse:
SET mapred.job.reuse.jvm.num.tasks=5
8,Parallel execution :
hive.exec.parallel=true
hive.exec.parallel.thread.number=16
9,Common join
The common join is also called reduce side join. It is a basic join in Hive and works
for most of the time. For common joins, we need to make sure the big table is on the
right-most side or specifed by hit, as follows:
/*+ STREAMTABLE(stream_table_name) */
10,Map join :
hive.auto.convert.join=true
hive.mapjoin.smalltable.filesize=600000000
hive.auto.convert.join.noconditionaltask=true
hive.auto.convert.join.noconditionaltask.size=10000000;
- hive 优化点
- 【hive】hive优化
- hive(二)--hive优化
- Hive 12、Hive优化
- Hive优化
- hive优化
- hive优化
- Hive 优化
- Hive优化
- Hive优化
- Hive优化
- hive优化
- hive优化
- hive 优化
- Hive优化
- hive 优化
- hive 优化
- Hive优化
- 1214 圆桌会议
- VMware虚拟机中设置端口映射
- mycroft adapt研究
- map对象转实体对象
- Linux 学习笔记(一)
- hive 优化点
- vc中GetDlgItem用法
- 如何停止Monkey测试
- bmp图片处理简单总结
- oracle中rownum和row_number()
- SecurityA.dll实现
- mac 安装配置ndk环境
- Java平台体系:组成结构 运行机制 JRE/JDK/OpenJDK Java SE/EE/ME Java优点
- 解决VMwareTools在Ubuntu下经常失效的问题