Kettle 将Oracle数据导入HBase的注意事项
来源:互联网 发布:心动网络官网地址 编辑:程序博客网 时间:2024/06/06 19:55
使用Kettle采集Oracle数据,导入到HBase。
Kettle是一个比较好用的ETL工具,个人感觉Kettle比Sqoop还要好用,主要是因为Kettle通过可视化,组件式拖拉配置就可以实现数据提取,转换、写入。而Sqoop 的shell 命令行真是不好用,而且Sqoop 2还不支持将关系型数据库的数据导入到HBase中,现在只支持导入到Hadoop。
Kettle将关系型数据库(这里指Oracle)的数据导入到HBase,有一些需要注意的事项:
1)通过SQL语句检索数据时,需要在SQL中处理好日期格式,因为Kettle默认的时间格式为:2016/11/01 06:43:21.000;
2)做数据映射时,都要将字段的类型转换为String,在这一点上,我吃过亏,由于我保留了原来的数据类型,比如Long,结果保存到HBase中,值变为16进制的数据,在取得数据后进行类型转换时报错:java.lang.IllegalArgumentException: offset (0) + length (4) exceed the capacity of the array: 1,所以这一点,比较重要。
0 0
- Kettle 将Oracle数据导入HBase的注意事项
- 用sqoop将oracle数据导入Hbase
- 使用kettle向HBase导入数据
- KETTLE 从oracle将表导入mysql
- 用sqoop将oracle数据导入Hbase 使用笔记
- 通过Sqoop工具将Oracle数据导入到HBase
- Sqoop将MySQL和Oracle的数据导入HIVE和Hbase
- Flume将数据导入Hbase
- 利用kettle工具 sqlserver2008导入oracle数据
- HBase0.96数据导入以及Kettle操作HBase问题
- 使用sqoop将mysql的数据导入到HBase中
- 解决mapreduce无法将数据批量导入hbase的问题
- Hbase通过命令将数据批量导入的方法
- 怎样将excel的数据导入oracle
- 将oracle数据库的数据导入mysql
- sqoop将oracle导入到hbase经验之谈
- 使用kettle将文本文件中的数据导入数据库
- 将HDFS中的数据导入HBase
- java.lang.Thread.setDefaultUncaughtExceptionHandler()方法实例
- SQL语句优化方案
- app开发
- RxMarkdown 是一个运用 RxJava API 在 TextView 或 EditText 中编辑和(实时)预览基本 markdown 语法的 Android 库
- C++ 多线程学习总结
- Kettle 将Oracle数据导入HBase的注意事项
- spring Quartz与Timer定时任务
- java.util.ServiceLoader使用
- Class对象以及泛化的Class引用
- Mybatis中使用insert后获得主键值的方法
- Spring、Spring MVC、Struts2、、优缺点整理
- java实现批量删除用户,选中删除用户
- Centos 7 install Docker
- Java 代码性能优化