bulk load关于分隔符的问题
来源:互联网 发布:2017微信用户数据报告 编辑:程序博客网 时间:2024/05/16 16:05
在查看bulk load的源码了解到,其默认的分隔符为\t,也就是说如果数据是tab键分割的,就不需要指定分隔符了,如果需要换成其它分割符,在执行时加上-Dimporttsv.separator=",",则变成了以","分割。
前两天,无意间使用bulk load导入数据,导入的数据是以“\t”分割的,我在命令中指定了-Dimporttsv.separator="\t",怪事就出现了,报出异常:
java.lang.IllegalArgumentException: TsvParser only supports single-byte separators
at com.google.common.base.Preconditions.checkArgument(Preconditions.java:88)
at org.apache.hadoop.hbase.mapreduce.ImportTsv$TsvParser.<init>(ImportTsv.java:88)
at org.apache.hadoop.hbase.mapreduce.ImportTsv$TsvImporter.setup(ImportTsv.java:218)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:142)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:621)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.Child.main(Child.java:170)
跟踪了一下源码,发现是类TsvParser的构造函数中对分隔符的长度进行了验证。
- public TsvParser(String columnsSpecification, String separatorStr) {
- // Configure separator
- byte[] separator = Bytes.toBytes(separatorStr);
- Preconditions.checkArgument(separator.length == 1,//如果separator.length == 1为false的话,将会报出上面的异常
- "TsvParser only supports single-byte separators");
- separatorByte = separator[0];
- 。。。。。
- }
这样看来是“\t”转化为byte数组后的长度不是1导致的,跟踪看到“\t”作为参数传进来后,java转义成“\\t”,这样造成了长度为2的情形,所以报出了以上异常信息。
所以在使用hbase的bulk load时,如果数据是"\t"分割的,建议不要加参数-Dimporttsv.separator,其一hbase默认就是制表符,其二会出现上面的异常。
现在比较理解为什么bulk load不用逗号、分号或者其他的作为默认的分隔符了,或许这就是其中的缘由吧!- bulk load关于分隔符的问题
- bulk load关于分隔符的问题
- 分隔符不是单个字符事load数据的问题。
- es的java bulk load
- 关于分隔字符串的问题
- Kerberos HBase集群Bulk Load权限问题
- 关于循环读取文本中分隔符的问题
- 关于java中 | 分隔符 转义的问题
- 关于java中 | 分隔符 转义的小问题
- 关于ES的bulk操作的一些问题
- hbase的bulk load一个小改造
- HBase Bulk Load的基本使用
- bulk insert 关于FirstRow作用不可靠的问题
- 关于bulk insert中文件不可访问的问题
- Trafodion Bulk Load 初试
- JAVA关于Scanner类的分隔符
- 关于load average的大小问题
- 关于load与ready的问题
- javaEE 使用过滤器压缩响应内容
- int 10 中断
- VRRP协议介绍
- Efficient data transfer through zero copy
- IOS开发—手势操作(点击+滑动)
- bulk load关于分隔符的问题
- Linux开机过程的分析(关于bootsect.S)
- HDU 3038 How Many Answers Are Wrong (带权并查集)
- POJ 1270 Follwing Orders
- git 记住用户名密码
- Google Chrome Source Code 源码下载
- 笔试遇到的编程题
- 把数据导出到Excel表格中的方式
- 从拓扑排序到广度优先搜索到单源最短路径