Sqoop2.0 mysql sql查询结果导入hdfs脚本
来源:互联网 发布:布鲁克林法学院 知乎 编辑:程序博客网 时间:2024/05/16 08:01
使用脚本原因
使用脚本的原因是为了适配hue操作,因为hue上sqoop的命令--query查询分隔符和其自身命令分隔冲突,无法使用空格区分是sqoop命令还是--query下命令。
Sqoop支持将任意的查询结果集导入,不使用--table、--columns和--where,使用SQL语句--query参数执行自由查询导入,但是必须指定--target-dir目录,必须指定--split-by 分隔列,同时必须使用where且在其后加个$CONDITIONS,使Sqoop进程替代为一个唯一的条件表达式达到条件查询效果。
脚本如下:
sqoop import --connect jdbc:mysql://ip/xxx?characterEncoding=UTF-8 --username user --password passowrd --query "SELECT ad.id,ad.budget_perday,acc.total_money FROM ad_group ad LEFT JOIN transfer_accounts acc ON acc.customer_id = ad.customer_info_id WHERE acc.total_money IS NOT NULL and \$CONDITIONS" --split-by id --fields-terminated-by '\t' --m 1 --target-dir /dw/ods/ods_ifengad_ids_advert_info/$1/budget if [ $? -ne 0 ]then echo "执行失败" exit 255fi
阅读全文
0 0
- Sqoop2.0 mysql sql查询结果导入hdfs脚本
- Sqoop2 MySQL与HDFS导入导出
- Sqoop2 从MySQL导入数据到Hadoop HDFS
- hive 查询结果导入 local 与 HDFS
- Sqoop2学习(二)—将MySQL数据库中数据导入到HDFS中
- mysql导入sql脚本
- Mysql 导入sql脚本
- mysql导入sql 脚本
- MySQL导入SQL脚本
- mysql导入sql脚本
- mysql 导入sql脚本
- 使用sqoop2实现hdfs与Oracle数据相互导入
- Sql Server2005 导入查询结果到excel
- MySql导入导出sql脚本
- 实现MySQL导入sql脚本
- mysql 导入导出sql脚本
- mysql导入导出sql脚本
- mysql查询结果导出文件,导入文件
- 资源包
- 前端教程
- Java总结篇系列:Java泛型
- Android Editext 编辑图文(图片文字共存)
- 删除代码中svn信息
- Sqoop2.0 mysql sql查询结果导入hdfs脚本
- PyTorch教程001
- sqlserver org.hibernate.MappingException: No Dialect mapping for JDBC type: -9
- 一张图搞定Java的servlet,servlet使用中的关键技术
- 跨域请求方式
- Windows上配置Opengl环境
- laravel中DEBUG 安装
- Java1.6,1.7,1.8新特性
- java中的关键字