检查hive上的数据分区
来源:互联网 发布:在淘宝开店收费标准 编辑:程序博客网 时间:2024/05/16 19:41
在hive上,检测分区是否产生的方法很简单:
show partitions db.table
数据库名.表名即可
当然也可以以如下的方式展开:
use db;
show parttions table
很多时候,我们生成分区的程序和后面根据分区成功进行的其他操作的程序并不是在一起的,如果分区不成功就继续下面的任务,会导致最后的结果不正确或是不存在。那如何检测你想要的分区是否生成了呢?我们可以写一个shell脚本。
function check_partition(){
#table,dt
temp=`hive -e "show partitions $1"`
echo $temp|grep -wq "$2"
if [ $? -eq 0 ];then
echo "ok"
return 0
else
return 1
fi
}
传参的时候只要传递表名和所要检测的分区名即可
当有多个分区的时候,比如有day和hour两个分区,大同小异
function check_partition_hm(){
#table,dt,hour
temp=`hive -e "show partitions $1"`
echo $temp|grep -wq "day=$2/hour=$4"
if [ $? -eq 0 ];then
echo "ok"
return 0
else
return 1
fi
}
注意:要标注好day=以及hour=,因为有时候昨天6点的分区生成,今天5点的分区也生成,要是分开grep的话,会得到今天6点的分区已经生成的结果,so~
- 检查hive上的数据分区
- Hive中的数据分区
- Hive中的数据分区
- Hive中的数据分区
- hive-03-hive的分区
- HIVE获取最新分区的数据的方法
- Hive分区的概念
- Hive 桶的分区
- hive修改MySQL里的元数据删除分区
- hive 同一个表不同分区的数据求和
- Hive 修改表添加分区(add partition)和 加载数据时添加分区 的区别
- hive 动态加载数据到指定分区,以及其他hive使用的技巧
- Hive的静态分区和动态分区
- 改变Hive 表的分区
- HIVE的动态分区插入
- hive 分区的详细解释
- Hive通过动态分区装载数据
- Hive 视图 索引 动态分区装载数据
- 时间戳
- Java垃圾回收机制_你不知道的GC_转深度好文
- VS 2013 winfrom 打开组件文档大纲
- 【BZOJ4453】cys就是要拿英魂!
- Android Studido(1.5.1)如何导入GitHub上的Module/Library
- 检查hive上的数据分区
- c++ Jsoncpp的安装及Json的解析和创建
- javascript学习(10)——[知识储备]链式调用
- Windows Dev Intro - Psapi.lib(PSAPI.DLL) : error LNK2026: 模块对于 SAFESEH 映像是不安全的
- 报错:Warning: session_start() [function.session-start]: Cannot send session cache limiter - headers
- java synchronized内置锁
- 排序(快排,冒泡,堆排序,插入排序,归并排序,选择排序)算法Java实现
- iOS开发系列--音频播放、录音、视频播放、拍照、视频录制
- Android 自定义ListView