shell脚本 日志文件批量导入hive
来源:互联网 发布:域名被墙做跳转有用吗 编辑:程序博客网 时间:2024/06/06 19:55
#!/bin/bash
for file in /home/robust/*.txt
do
echo "$file" #输出文件路径
echo "${file:0-16:8}" #从倒数16位开始,往后截取8位
hive << EOF #输入重定向
use database;
load data local inpath '$file' overwrite into table table_name [partition (store_day=$(file:0-16:8))];
EOF
done
chmod +x ./shell.sh
输入重定向:
我们经常在shell脚本程序中用<<EOF重定向输入,将我们输入的命令字符串作为一个执行程序的输入,这样,我们就不需要在那个程序环境中手工输入命令,以便自动执行我们需要的功能。
当然这个标志性字符不能用保留字,最常用的还是EOF。
需要注意的是,第一个EOF必须以重定向字符<<开始,第二个EOF必须顶格写,否则会报错。
阅读全文
0 0
- shell脚本 日志文件批量导入hive
- shell脚本循环读取参数,文件批量重命名
- hive导入nginx日志
- PowerShell脚本从csv文件批量导入AD账户
- 大量包含Insert语句的脚本文件批量执行导入数据
- shell脚本进行sftp文件批量上传与下载
- Linux shell脚本,jpg文件批量化转pdf
- shell脚本进行sftp文件批量上传与下载
- 日志压缩shell脚本
- shell脚本学习日志
- Shell脚本执行Hive语句
- hive脚本+shell执行方式
- hive transform shell脚本运行
- HIVE的shell脚本模板
- shell脚本定时将批量日志导入到infobright的方法
- 脚本导入日志到mysql
- shp文件批量导入SDE
- SHP文件批量导入数据库
- FEC相关知识
- springMVC 获取.properties中属性值
- 问题 D: 神奇密码锁
- [OpenJudge2404]Ride to Office
- 大战飞碟flash游戏 帧动画
- shell脚本 日志文件批量导入hive
- Android屏幕适配dp、px两套解决办法
- 梯度下降优化算法总结
- 线段树 Circular RMQ
- 扫码售后系统开发公司
- synchronize用法
- 算法竞赛入门经典 UVa1587Box
- 关于第一篇博客的补充——LM神经网络模型
- Shiro框架身份认证(二)