sqoop1 脚本示例
来源:互联网 发布:淘宝网2016新款女衫 编辑:程序博客网 时间:2024/06/10 19:01
start='sqoop import '
oracle_param='--connect jdbc:oracle:thin:@10.10.10.10:1521:ccd --username ccd --password 123456 '
comm_param='--fields-terminated-by "\001" -m 1 '
comm_cmd=$start$oracle_param$comm_param
tables=("TABLE1" "TABLE2" "TABLE3" "TABLE4" "TABLE5" "TABLE6" "TABLE7" "TABLE8")
echo ${#tables[*]}
for s in ${tables[@]}; do
tableParam=' --table '$s
typeset -l s_
s_=$s
path=' --target-dir /warehouse/'$s_
`hadoop fs -rm -r $path`
cmd=$comm_cmd$tableParam$path
echo $cmd
`$cmd`
done
import_date=`date -d '-1 day' +%Y%m%d`
if [ "$1" ] ; then
import_date=$1
fi
path='/warehouse/table_10/'$import_date
hadoop fs -rm -r $path
sqoop import $oracle_param $comm_param --query 'select * from TABLE_10 where KEY='$import_date' and $CONDITIONS' --target-dir $path --split-by 'ID'
oracle_param='--connect jdbc:oracle:thin:@10.10.10.10:1521:ccd --username ccd --password 123456 '
comm_param='--fields-terminated-by "\001" -m 1 '
comm_cmd=$start$oracle_param$comm_param
tables=("TABLE1" "TABLE2" "TABLE3" "TABLE4" "TABLE5" "TABLE6" "TABLE7" "TABLE8")
echo ${#tables[*]}
for s in ${tables[@]}; do
tableParam=' --table '$s
typeset -l s_
s_=$s
path=' --target-dir /warehouse/'$s_
`hadoop fs -rm -r $path`
cmd=$comm_cmd$tableParam$path
echo $cmd
`$cmd`
done
import_date=`date -d '-1 day' +%Y%m%d`
if [ "$1" ] ; then
import_date=$1
fi
path='/warehouse/table_10/'$import_date
hadoop fs -rm -r $path
sqoop import $oracle_param $comm_param --query 'select * from TABLE_10 where KEY='$import_date' and $CONDITIONS' --target-dir $path --split-by 'ID'
阅读全文
0 0
- sqoop1 脚本示例
- 用sqoop1写出个能用的mysql to hive脚本
- 脚本示例
- Sqoop1使用手册
- Sqoop1 安装
- mysql脚本创建示例
- Oracle常用脚本示例
- 行转列脚本示例
- linux脚本编写示例
- shell脚本示例
- Ant脚本示例代码
- shell 脚本 示例
- 脚本编程示例
- Linux shell 脚本示例
- NSIS 脚本示例
- pppoe脚本示例
- shell脚本简单示例
- TCL脚本扩展示例
- 回文质数 构造回文数
- Codeforces Round #441 Div. 2 E,F
- Windows编程基础--第1节 第一个win32软件
- Course Schedule II
- Java之主函数——main函数
- sqoop1 脚本示例
- 普通用户sudo echo权限依旧写入不了文件
- java Executor线程池 中的Callable多线程讲解及实例
- java数据类型
- linux命令之远程访问
- Java项目经验
- default修饰符深入解析
- 嵌入式系统上实现GPS全球定位功能
- www目录下的web项目调用其他盘的资源