通过创建临时表合并某一个库的hive小文件
来源:互联网 发布:mac qq远程桌面 编辑:程序博客网 时间:2024/05/18 03:36
#!/bin/bash#需要指定hive中的库名#set -xset -eDB=$1if [ -z $1 ];then echo “Usage:$0 DbName” exit 1fi#注释掉cron对应的计划任务row=$(sed -n '/sjob_exec.sh/=' /etc/crontab)sed -i "$row s/^/#/" /etc/crontab#获取hive表定义ret=$(sudo -u hdfs hive -e "use ${DB};show tables;"|grep -v _tmp|grep -v importinfo)for tem in $ret;do echo ${tem} sudo -u hdfs hive -e "use ${DB};drop table ${tem}_tmp" sudo -u hdfs hive -e "use ${DB};create table ${tem}_tmp_1 as select * from ${tem}" sudo -u hdfs hive -e "use ${DB};alter table ${tem} rename to ${tem}_tmp" sudo -u hdfs hive -e "use ${DB};alter table ${tem}_tmp_1 rename to ${tem}"doneimpala-shell -q 'invalidate metadata' -i hslave1#恢复对应的cron任务row=$(sed -n '/sjob_exec.sh/=' /etc/crontab)sed -i "$row s/#//" /etc/crontab
0 0
- 通过创建临时表合并某一个库的hive小文件
- hive小文件合并
- Hive小文件合并
- hive合并小文件
- hive 小文件合并
- Hive小文件合并
- Hive 合并小文件
- hive合并小文件
- hive合并小文件
- hive 小文件的合并 hive.merge.mapredfiles
- Hive小文件合并调研
- Hive小文件合并调研
- hive小文件合并问题
- Hive小文件合并汇总
- Hive 之 合并小文件
- hive 通过csv文件创建表
- hive优化之自动合并输出的小文件
- hive小文件问题及hive小文件合并
- 视图?
- python sklearn包——3.1cross validation笔记
- IOS开发网络加载图片缓存策略之──ASIDownloadCache缓存策略
- vs出现当前不会命中断点不能进行代码调试怎么办
- 微型投影仪:MSP430
- 通过创建临时表合并某一个库的hive小文件
- 算法基础--大O函数
- (一)图像坐标:我想和世界坐标谈谈(A) 【计算机视觉学习笔记--双目视觉几何框架系列】
- js 提示对话框知识
- apache AH00558 错误的解决
- H264编码原理以及I帧B帧P帧
- H264多参考帧个数考虑
- 2016-2小笔记
- 如何清除远程桌面连接的IP域名信息