hive使用技巧(四)——巧用MapJoin解决数据倾斜问题
来源:互联网 发布:mac强制删除程序 编辑:程序博客网 时间:2024/05/29 08:01
相关文章推荐:
hive使用技巧(一)自动化动态分配表分区及修改hive表字段名称
hive使用技巧(二)——共享中间结果集
hive使用技巧(三)——巧用group by实现去重统计
hive使用技巧(四)——巧用MapJoin解决数据倾斜问题
Hive使用技巧(五)—— 一行转多行,多行转一行
Hive的MapJoin,在Join 操作在 Map 阶段完成,如果需要的数据在 Map 的过程中可以访问到则不再需要Reduce。
小表关联一个超大表时,容易发生数据倾斜,可以用MapJoin把小表全部加载到内存在map端进行join,避免reducer处理。
实则分析
select c.channel_name,count(t.requesturl) PV from ods.cms_channel c join (select host,requesturl from dms.tracklog_5min where day='20151111' ) t on c.channel_name=t.host group by c.channel_name order by c.channel_name;
上以为小表join大表的操作,可以使用mapjoin把小表放到内存中处理,语法很简单只需要增加 /*+ MAPJOIN(pt) */ ,把需要分发的表放入到内存中
select /*+ MAPJOIN(c) */c.channel_name,count(t.requesturl) PV from ods.cms_channel c join (select host,requesturl from dms.tracklog_5min where day='20151111' ) t on c.channel_name=t.host group by c.channel_name order by c.channel_name;
这种用在出现数据倾斜时经常使用
参数说明:
1)如果是小表,自动选择Mapjoin:
set hive.auto.convert.join = true; # 默认为false该参数为true时,Hive自动对左边的表统计量,如果是小表就加入内存,即对 小表使用Map join
2)大表小表的阀值:
set hive.mapjoin.smalltable.filesize;hive.mapjoin.smalltable.filesize=25000000
默认值是25mb
3)map join做group by 操作时,可以使用多大的内存来存储数据,如果数据太大,则不会保存在内存里
set hive.mapjoin.followby.gby.localtask.max.memory.usage;默认值:0.55
4)本地任务可以使用内存的百分比
set hive.mapjoin.localtask.max.memory.usage;默认值: 0.90
1 0
- hive使用技巧(四)——巧用MapJoin解决数据倾斜问题
- Hive mapjoin使用(数据倾斜优化)
- hive优化(4)之mapjoin和union all避免数据倾斜
- Hive优化---mapjoin和union all避免数据倾斜
- Hive数据倾斜问题
- HIVE数据倾斜问题
- hive数据倾斜问题
- hive-数据倾斜解决详解
- hive-数据倾斜解决详解
- hive的数据倾斜问题
- hive调优 数据倾斜问题
- Hive数据倾斜问题总结
- Hive数据倾斜问题总结
- hive mapjoin使用
- #Hive#Mapjoin的使用
- hive mapjoin使用
- hive mapjoin使用
- hive mapjoin使用
- View机制深入学习(五) 事件处理机制一
- (6)分片技术
- Android WebView 视频播放解决
- 基于分布式计算模型AKKA的数据并发处理【Lync聊天记录 -www.msucplus.com】
- 设计模式:10)责任链模式
- hive使用技巧(四)——巧用MapJoin解决数据倾斜问题
- 留存的网址
- docker - 资源限制
- 没有上司的晚会 树形动态规划
- eclipse迁移到Android Studio 问题记录
- Hadoop 2.3.0-cdh5.0.0 HA集群搭建(yum 安装)
- VirtualBox,vagrant,ubuntu,nodejs环境搭建
- iostat 监视I/O子系统
- 基于Hiredis异步API的聊天系统实现