HIVE CLOB字段处理
来源:互联网 发布:tftp 端口号 编辑:程序博客网 时间:2024/05/18 16:39
在将数据由oracle数据库导入到Hive时,发现带有clob字段的表的数据会错乱,出现一些字段全为NULL的空行。
由于在项目中CLOB字段没有实际的分析用途,因此考虑将CLOB字段去掉。
同时,为了防止CLOB字段产生一些问题,因此将HIVE中CLOB字段禁用,禁用的方式如下:
[hadoop@master sqoop-1.4.5]$ cd $SQOOP_HOME/conf
[hadoop@master conf]$ vi oraoop-site.xml
将以下属性的注释去掉,并且将value改为true
<property>
<name>oraoop.import.omit.lobs.and.long</name>
<value>true</value>
<description>If true, OraOop will omit BLOB, CLOB, NCLOB and LONG columns during an Import.
</description>
</property>
有些表中虽然有clob字段,但是不能排除掉,因为其他字段使我们所需要,因此在导入的时候采用指定--columns的方式来进行导入
sqoop import --hive-import --hive-database test --create-hive-table --connect jdbc --username user--password user --bindir //scratch --outdir /java --table aaa --columns "ID,NAME" -m 1 --null-string '\\N' --null-non-string '\\N'
- HIVE CLOB字段处理
- java处理CLOB字段
- hibernate 处理 Clob字段
- JAVA CLOB字段处理
- oracle clob字段处理
- Oracle CLOB字段处理方法
- 对clob字段的处理
- JDBC 处理Oracle Clob字段
- ibatis处理blob字段和clob字段
- Orcale 中的CLOB字段的处理,hibernate处理clob
- hive 处理敏感字段
- 数据转触时clob字段的处理办法
- jdbc处理oracle的clob字段
- 在Java中处理CLOB字段
- Clob字段中字符替换 处理
- Oracle的clob,blob字段处理
- 处理CLOB字段的动态PL/SQL
- 在Java中处理CLOB字段
- Android使用NFC分享文件
- shell-正则表达式
- gSoap
- 杭电1598 find the most comfortable road(并查集暴力求解)
- 再探Objective-C.3
- HIVE CLOB字段处理
- ZYBO HDMI和VGA接口小记
- 移动互联网App推广的十大难题
- 解决安装RHEL5乱码问题!!!
- ArrayList解释
- POJ 1080-Human Gene Functions(DP)
- PBOC限额与阈值汇总
- LINUX下查看CPU使用率的命令
- Linux学习笔记(1)