用shell命令获得hdfs文件名并动态创建hive表
来源:互联网 发布:js隐藏手机号码中间 编辑:程序博客网 时间:2024/06/05 04:07
#获得文件夹下的文件名并循环每个文件名
files=`hadoop fs -ls /home/out/aidfilter | awk -F " " '{print $8}'`
for name in $filesdo
#awk命令按“/”分割第五个
filename=`echo $name | awk -F "/" '{print $5}'`echo $filename
#执行hive脚本 传递hive临时变量
hive -f test.hql -hivevar tablename=$filenamedone
test.hql语句如下要放在你执行本语句的同目录下
create external table if not exists aid${tablename} (Id int,ChannelId int,ChannelName string,PlayDate string,MoniFlag4 string)row format delimited fields terminated by ',' location '/cm/tbl/aid${tablename}';
阅读全文
0 0
- 用shell命令获得hdfs文件名并动态创建hive表
- hdfs目录创建hive表
- hive创建一个表,并挂载hdfs目录下的一个分布式文件到表中
- [Hive]使用HDFS目录数据创建Hive表分区
- hive变量调用 hive和shell hdfs命令交互调用 hiverc预定义初始化
- Hadoop HDFS Shell 命令
- HDFS Shell 命令
- HDFS常见shell命令
- hdfs shell命令记录
- hdfs shell命令
- HDFS shell 命令
- [Hadoop]HDFS shell命令
- Hadoop HDFS Shell命令
- HDFS的Shell命令
- hdfs shell 命令
- HDFS Shell 命令
- hdfs的shell命令
- Hadoop2 HDFS shell命令
- 浏览器对象模型--BOM
- 线性代数教程之二——特征分解
- 文档对象模型——DOM
- 2017年10月6日提高组T2 猫公司
- node节点
- 用shell命令获得hdfs文件名并动态创建hive表
- 二叉查找树数组表示的JavaScript实现
- python flask sever client 测试,post 方法,传入python dict或者json字符串
- eclipse中的项目鼠标右键卡死(百度:删掉workspace的.metadata文件夹不行,还会卡),sts插件尝试联网引起【先拔网线耐心等待5秒!不行再插上网线】
- I/O复用总结
- 关于GSDMM的数学思考
- java代码读取properties文件
- 明明的随机数
- Java Perfomance