Sqoop导入问题汇总
来源:互联网 发布:docker mysql 使用 编辑:程序博客网 时间:2024/06/15 20:38
自己在使用Sqoop的过程中碰到许多问题,经过很长时间的查询与摸索,所以有了以下这些总结,为了自己以后方便查询,也为了其他人不再为相同的问题困扰,所以写了这篇文章。
1、生成sqoop import模板
sqoop 的import命令导入的时候可以指定模板(--jar-file 、--class-name),指定模板后就按模板格式导入,不再按默认方式生成模板,生成模板的命令是:
sqoop codegen --connect jdbc:oracle:thin:@//ip:port/dbname --username name --password pwd --table tablename--fields-terminated-by '\001'
2、模板生成class文件并打包
通过codegen命令生成的模板是一个java文件,获取java文件后可以修改间隔符、换行符等内容,并重新编译成class文件,打成jar包。生成class文件的时候需要用到hadoop的jar包和sqoop的jar包,hadoop 2.x.x之前使用的hadoop的jar包是hadoop-core.jar,但hadoop2.x.x之后没有这个jar包了,需要使用hadoop-common-2.x.x.jar 和hadoop-mapreduce-client-core-2.x.x.jar ,并且使用sqoop-1.4.6.jar, 通过javac命令就可以编译calss了。
3、导入hdfs和导入hive
导入hdfs直接使用import命令就可以,通过--fields-terminated-by '指定间隔符,如果直接导入hive,则需要增加--hive-import,并且在创建表的时候使用row format delimited fields terminated by '\001' 指定hive表的间隔符,这样hive就可以正确的识别列了。
- Sqoop导入问题汇总
- Sqoop 数据导入问题
- sqoop增量导入问题
- sqoop使用经验总结及问题汇总
- sqoop 导入数据特殊字符问题
- 用sqoop导入大表的问题
- Sqoop导入hive分隔符问题
- Sqoop导入hive分隔符问题
- sqoop 导入导出数据倾斜问题优化
- [Sqoop]Sqoop导入与导出
- sqoop之从oracle导入hbase的问题与sqoop hbase 需要注意的一个问题
- sqoop之从oracle导入hbase的问题与sqoop hbase 需要注意的一个问题
- sqoop 从mysql导入hive的字段名称问题
- 导入sqoop代码到eclipse报错问题分析
- 解决sqoop导入关系库更新联合主键的问题
- 解决sqoop导入关系库更新联合主键的问题
- 解决sqoop导入关系库更新联合主键的问题
- sqoop从mysql导入hdfs数据过程遇到的问题
- Flume Sink
- Echarts图表开发之饼图
- 家电品牌新售后该起风了
- 编写 kafka Partition 分配算法
- spring配置文件详解
- Sqoop导入问题汇总
- 【备忘】Spring+SpringMVC+MyBatis开发外卖app后台完整项目教程
- 2017第二十二届中国国际家具、木工机械、配件及原辅材料(大连)展览会会刊(参展商名录)
- 小程序js解密群组数据
- 设计模式(四)建造者模式
- AngularJs自定义指令--执行顺序 (原文:http://www.cnblogs.com/sagacite/p/4624227.html) 复制代码 1 <!DOCTYPE html> 2
- 组个最小数 因为第一个数不能是0,所以先找第一个数字,从 i=1 开始找,找到后,在重新从i=0,开始输出
- Flume Source
- 单例模式,饿汉模式和懒汉模式