HIVE的shell脚本模板
来源:互联网 发布:mastercam三维编程步骤 编辑:程序博客网 时间:2024/05/17 09:27
参照模板 实现了一个等值join的简单Demo
重要得脚本 模板 值得参考
#!/bin/bash# ===========================================================================# 程序名称: hive的shell脚本 # 功能描述: 将book表与course等值连接,数据分区插入# 输入参数: 运行日期# 目标表名: book_par# 数据源表: book,course# 创建人: 何睿# 创建日期: 2017-11-29# 版本说明: v1.0# 代码审核: # 修改人名:# 修改日期:# 修改原因:# 修改列表: # ===========================================================================### 1.参数加载exe_hive="/home/software/hive-1.2.0-bin/bin/hive"if [ $# -eq 1 ] then day_01=`date --date "${1}" +%Y-%m-%d`else day_01=`date -d '-1 day' +%Y-%m-%d`fiTARGET_DB=schoolTARGET_TABLE=book_par###2.定义执行HQLHQL="use ${TARGET_DB}; insert overwrite table ${TARGET_TABLE} partition (dt='${day_01}') select id,name,cno,sname from (select * from book where country='japan') b left join course c on b.id=cno;"###3.执行HQLbash ${exe_hive} -e "${HQL}"###4.判断是否成功result=`hadoop fs -ls /user/hive/warehouse/${TARGET_DB}.db/${TARGET_TABLE}/dt=${day_01} | wc -l`if [ ${result} -gt 1 ] then hadoop fs -touchz /user/hive/warehouse/${TARGET_DB}.db/${TARGET_TABLE}/dt=${day_01}/_SUCCESS echo "-----------etl脚本执行成功------------"
阅读全文
0 0
- HIVE的shell脚本模板
- shell命令执行hive脚本(hive交互,hive的shell编程)
- shell命令执行hive脚本(hive交互,hive的shell编程)
- shell命令执行hive脚本(hive交互,hive的shell编程)
- 在Oozie 中调度执行shell、hive 脚本,以及通过shell脚本执行hive/sqoop/shell脚本的方法
- shell脚本处理长参数的模板
- 一个简单的SHELL脚本模板
- shell脚本模板
- Shell脚本执行Hive语句
- hive脚本+shell执行方式
- hive transform shell脚本运行
- 【甘道夫】实现Hive数据同步更新的shell脚本
- 我的shell脚本文件模板及一些常用…
- 使用shell脚本执行hive、sqoop命令
- shell中循环调用hive sql 脚本
- hive-shell批量命令执行脚本
- impala刷新hive数据shell脚本
- shell脚本 日志文件批量导入hive
- 为什么 C++ 中提倡尽量避免使用宏 #define(转)
- WordPress搭建自己私人博客
- Fiori2.0学习笔记-Ajax数据请求
- 1 机器学习相关岗位要求
- SQL 和MYSQL的差别
- HIVE的shell脚本模板
- LaTeX如何正确输入引号:双引号“”单引号‘’
- 回调函数的理解
- JDBC_02
- C# 编辑器怎么配置最好
- 数据结构---二叉树的基本运算
- JEECMS——过滤器和拦截器
- 最近常用的几个命令 记录一下
- 顶象加固分析和一点还原