hive指定行分割符和列分隔符

指定行分割符和列分隔符

由于默认的是能指定列分隔符，但是不可以指定行分隔符，所以这个时候，我们存在hdfs上的数据有的可能是\001是列分隔符，和\002是分隔符这个时候就得重写一下inputformat来使用了。(当然还有其他的方式，比如书上说serDe 来做)

 

 

package com.hcr.hadoop.hive; import java.io.IOException;import java.io.UnsupportedEncodingException; import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapred.FileSplit;import org.apache.hadoop.mapred.InputSplit;import org.apache.hadoop.mapred.JobConf;import org.apache.hadoop.mapred.JobConfigurable;import org.apache.hadoop.mapred.LineRecordReader;import org.apache.hadoop.mapred.RecordReader;import org.apache.hadoop.mapred.Reporter;import org.apache.hadoop.mapred.TextInputFormat; public class MyHiveInputFormat extends TextInputFormat implements      JobConfigurable {    public RecordReader<LongWritable, Text> getRecordReader(        InputSplit genericSplit, JobConf job, Reporter reporter)        throws IOException {      reporter.setStatus(genericSplit.toString());//    return new LineRecordReader(job, (FileSplit) genericSplit, decode(job.get("temp.line.record.delimiter")).getBytes("UTF-8"));      return new LineRecordReader(job, (FileSplit) genericSplit, "\002".getBytes("UTF-8"));   }     /**    * 工作流传过来的列分隔符,有可能是特殊字符,用八进制或者十六进制表示    *    * @throws IOException    */   public static String decode(String str) throws IOException {      String re = str;      if (str != null && str.startsWith("\\")) {        str = str.substring(1, str.length());        String[] chars = str.split("\\\\");        byte[] bytes = new byte[chars.length];        for (int i = 0; i < chars.length; i++) {           if (chars[i].equals("t")) {              bytes[i] = 9;           } else if (chars[i].equals("r")) {              bytes[i] = 13;           } else if (chars[i].equals("n")) {              bytes[i] = 10;           } else if (chars[i].equals("b")) {              bytes[i] = 8;           } else {              bytes[i] = Byte.decode(chars[i]);           }        }        try {           re = new String(bytes, "UTF-8");        } catch (UnsupportedEncodingException e) {           throw new IOException(str, e);        }      }      return re;   }} 

 

我上边是\002是写死的上边，为了测试用。其实可以写在配置文件中（hive-site.xml）中一个变量来读取比如"temp.line.record.delimiter"

<property>  <name>temp.line.record.delimiter</name>  <value>\002</value></property>

这样的行分隔符可以来直接使用配置文件取就可以。就是上边的注释掉的代码。

 

 

由于没有放入环境变量，先add jar 一下了。

hive> add jar /root/hcr/tmp/hcr.jar;Added /root/hcr/tmp/hcr.jar to class pathAdded resource: /root/hcr/tmp/hcr.jarhive> create table m_t3( mark string,   >   keyValue string,   >   batchNo string) row formatdelimited fields terminated by '\001'    >  stored as INPUTFORMAT 'com.hcr.hadoop.hive.MyHiveInputFormat'   >   OUTPUTFORMAT'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';OKTime taken: 2.111 secondshive> load  data local inpath'/root/hcr/tmp/sss.txt'overwrite into table m_t3;Copying data fromfile:/root/hcr/tmp/sss.txtCopying file: file:/root/hcr/tmp/sss.txtLoading data to table default.m_t3Moved to trash: hdfs://hadoop-master.TB.com:8020/user/hive/warehouse/m_t3OKTime taken: 0.296 seconds hive> select * from m_t3;keyData XXZXZZ:YSZTZXS:618888:AFS:3853864      d_20131220170748-1600299142keyData XXZXZZ:YSZTZXS:618914:AFS:3853923      d_20131220170748-1600299142hive>

可以在hive-site.xml文件中配置hive.aux.jars.path 参数，让本地jar 只要一启动就注册进去。

<property><name>hive.aux.jars.path</name><value>file:///root/hcr/tmp/hcr.jar</value></property>

其实\001不用指定，hive默认的列分隔符就是\001。不过如果你的数据列之前不是\001可以换成其他的。