Kettle 将Oracle数据导入HBase的注意事项

来源:互联网 发布:心动网络官网地址 编辑:程序博客网 时间:2024/06/06 19:55

      使用Kettle采集Oracle数据,导入到HBase。

      Kettle是一个比较好用的ETL工具,个人感觉Kettle比Sqoop还要好用,主要是因为Kettle通过可视化,组件式拖拉配置就可以实现数据提取,转换、写入。而Sqoop 的shell 命令行真是不好用,而且Sqoop 2还不支持将关系型数据库的数据导入到HBase中,现在只支持导入到Hadoop。

      Kettle将关系型数据库(这里指Oracle)的数据导入到HBase,有一些需要注意的事项:

      1)通过SQL语句检索数据时,需要在SQL中处理好日期格式,因为Kettle默认的时间格式为:2016/11/01 06:43:21.000;

      2)做数据映射时,都要将字段的类型转换为String,在这一点上,我吃过亏,由于我保留了原来的数据类型,比如Long,结果保存到HBase中,值变为16进制的数据,在取得数据后进行类型转换时报错:java.lang.IllegalArgumentException: offset (0) + length (4) exceed the capacity of the array: 1,所以这一点,比较重要。


0 0
原创粉丝点击