sqoop原理
来源:互联网 发布:淘宝买药怎么看物流 编辑:程序博客网 时间:2024/05/20 19:19
sqoop,各位看官基本上都了解或者听说过,小二就不进行废话了。另外基于国内大部分用的为CDH,小二就想说一点:CDH中的sqoop2其实是apace版的sqoop1,聪明的看官不要被表面所迷惑了.
第一关:无图无真相
第二关:无错不欢
一般会有四类问题
1.缺少jdbc导致错误
2.无法解析的错误
一般会有一下这几种情况:
a.分割符的问题
要么分割符不正确,要么就是数据不纯,有特殊字符
b.mysql库和hive库中的表结构不一致.
c.mysql字段长度不够。
d.字段格式不匹配。
e.mysql与hive中的字段不对应 顺序、数目
f.mysql数据库处于锁表中
3.数据倾斜
解决办法:
1.增大m数,缓解数据倾斜
2.了解数据分布,更改–split-by,或者进行表的拆分
4.–split-by 非主键时要特别注意NULL,另外内–split-by对于非数字类型的比如varchar的支持不是特别的好
第三关 无例难成米
在原有的目录下进行追加,目录可以存在,可以重复运行。
import --append --connect jdbc:mysql://hadoop-7:3306/test --username root --password 123456 --table cae01_psnmrtginfo_chenx --target-dir /usr/input/db -m 1
mysql导入到hive
sqoop import --connect jdbc:mysql://192.168.2.23:3306/testdb -- username root --password hadoop --table dwd_icc_clnt_bkinfo --hive-database dsc_dwd --hive-table dwd_icc_clnt_bkinfo --hive-import --hive-overwrite --null-string '\\N' --null-non-string '\\N' -m 1
sqoop import --append --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000 --table userinfos --columns "id,age,name" --where "id > 3 and (age = 88 or age = 80)" -m 1 --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by ","
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table users --username dyh --password 000000 --hive-table users --fields-terminated-by "\0001" --lines-terminated-by "\n";
sqoop export --connect "jdbc:mysql://192.168.2.23/test/CCS_CUSTOMER:3306/buzi_data_tm?useUnicode=true&characterEncoding=utf-8" --username root --password hadoop --table dws_dsst_t_user --export-dir /user/hive/warehouse/dsc_dws.db/dws_i_ccs_ccs_customer/date=20151111 --input-fields-terminated-by '|' --input-null-non-string '\\N' --input-null-string '\\N' -m 1
/usr/bin/sqoop import -libjars /home/admin/packages/data_import/201512301112/config/../lib/ojdbc6-11.2.0.2.0.jar --connect 'jdbc:oracle:thin:@192:1555:test' --username root--password 123456 --query 'select LAST_MODIFY_TIME from RMPS.TM_RULE' --split-by id --target-dir /user/hdfs/RMPS.TM_RULE --hive-database raw_datas --hive-table a_RMPS_rmps_TM_RULE_20151230 --hive-import -m 1 --hive-delims-replacement \30 --null-string '\\N' --null-non-string '\\N'
最后一关:注意打Boss
1.用sqoop数据中最好不要有像 ’ 等特殊字符,不然可能会报无法解析
就先这些啦!呼呼~
0 0
- sqoop原理
- Sqoop原理
- sqoop使用与原理
- Sqoop原理介绍
- sqoop使用与原理
- sqoop使用与原理
- 【sqoop】 Sqoop详细介绍包括:sqoop命令,原理,流程
- sqoop的安装和原理
- Sqoop详细介绍包括:sqoop命令,原理,流程
- Sqoop详细介绍包括:sqoop命令,原理,流程
- Sqoop详细介绍包括:sqoop命令,原理,流程
- Sqoop详细介绍包括:sqoop命令,原理,流程
- Sqoop详细介绍包括:sqoop命令,原理,流程
- Sqoop详细介绍包括:sqoop命令,原理,流程
- Sqoop详细介绍包括:sqoop命令,原理,流程
- Sqoop详细介绍包括:sqoop命令,原理,流程
- Sqoop详细介绍包括:sqoop命令,原理,流程
- Sqoop详细介绍包括:sqoop命令,原理,流程
- (十七) jmetr-逻辑控制器---学习笔记
- 梯度从理论到实践
- java集合12--TreeMap源码详解
- [leetcode]88. Merge Sorted Array
- PhoneGap安装以及导入到studio中
- sqoop原理
- MariaDB-10.1 Galera Cluster on CentOS 7
- Android 解决listview+swipmenulisview 侧滑冲突(亲测有效)
- 锁(C++)
- 洛谷 P2532 [AHOI2012] 树屋阶梯
- RPM构建 - 介绍
- Linux 静态库 和 动态库的使用
- DPDK入门-DPDK绑定cpu失败
- jvm支持的最大线程数