Hive Map Join
来源:互联网 发布:jquery面试题 知乎 编辑:程序博客网 时间:2024/06/05 00:34
Hive中的Map Join即map side join工作原理是在Map端把小表加载到内存中,然后读取大表,和内存中的小表完成连接操作。MapJoin使用了分布式缓存技术。
Map Join的优点:
1.不消耗集群的reduce资源。
2.减少了reduce操作,加快了程序执行。
3.降低网络负载。
Map Join的缺点:
1.占用内存(所以加载到内存中的表不能过大,因为每个计算节点都会加载一次)。
2.生成较多的小文件。
我们有如下两种方式来执行Map Join:
1.配置一下参数,Hive会自动根据SQL选择common join或者是Map Join。
hive (hive)> set hive.auto.convert.join=true;hive (hive)> set hive.mapjoin.smalltable.filesize=25000000;(默认值就是25MB)
2.我们还可以手动指定使用Map join:
hive (hive)> select /*+mapjoin(post)*/ user.id,user.name,post.pid,post.title from user > join post > on user.id = post.uid;注:上述语句中的/*+mapjoin(表名)*/是语法格式,不是注释符号。
查询结果如下:
idnamepidtitle1lavimer1Thinking in Java1lavimer2Thinking in Hadoop2liaozhongmin3Thinking in C
注:查询结果是和common join是一致的,但是Map join的效率高,因为它不走Reduce任务了,直接使用Map任务处理。
0 0
- Hive Map Join
- hive map side join
- hive map-side join
- Hive Map Side Join解析
- Hive中使用MAP JOIN
- hive 中的map join 操作
- Hive Common Join VS Map Join
- Hive Sort Merge Bucket Map Join
- Hive中Join的使用入门 & Common Join与Map Join原理深度剖析
- Hive 中 Map Join 的适用场景:非等值连接
- hive join
- hive join
- hive join
- hive join
- hive join
- hive join
- hive join
- hive join
- 怎样安装express
- 编译Boost 详细步骤
- spring 3.x + hibernate4.x 实现数据延迟加载
- 关于工资的三个秘密
- 判断给定二叉树是否是二叉搜索树(LeetCode: Validate Binary Search Tree)
- Hive Map Join
- c++ vector各种函数介绍及其用法
- HDU-2568-前进
- Linux系统添加crontab任务无效的问题解决方案
- OS Watcher
- PHPCMS建站新手入门基础视频教程简介
- spring源码官方下载
- BigBlueButton安装方法
- Android 基于google Zxing实现二维码、条形码扫描,仿微信二维码扫描效果