textfile转换成rcfile,parquet,hfile

一、textfile转换成rcfile
    通过hive实现
    1.1在hive创建表
    create table tablename(s string,x string,y string,a double,b double);
    1.2然后load data本地textfile
    load data local inpath '本地路径的textfile' into table tablename;
    或是load data hdfs上的textfile到hive表中
    load data inpath 'hdfs路径的textfile‘ into table tablename;
    
    这样hive中tablename表对应的文件，就是textfile要转换成的rcfile文件

二、textfile转换成parquet
    通过impala实现
    2.1在impala创建表
    create table tablename(s string,x string,y string,a double,b double);
    2.2然后load data hdfs上的textfile到impala表中
    load data inpath 'hdfs路径的textfile’ into table tablename;

    这样impala中tablename表对应的文件，就是textfiel要转换成的parquet文件

三、textfile转换成hfile
    通过hive和hbase整合实现
    3.1在hive中创建hbase识别的表
    create table hbase_hive_table(s string,x string,y string,a double,b double)
    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    with serdeproperties ("hbase.columns.mapping" = ":key,info:y,info:z,info:a,info:b")
    tblproperties("hbase.table.name" = "hbase_hive_table");
    3.2在hive创建表
    create table tablename(s string,x string,y string,a double,b double);
    3.3然后load data本地textfile
    load data local inpath '本地路径的textfile' into table hbase_hive_table;
    或是load data hdfs上的textfile到hive表中
    load data inpath 'hdfs路径的textfile‘ into table hbase_hive_table;
    3.4在hive导入数据到hbase识别的表中
    insert into table hbase_hive_table select * from tablename;
    
    这样hbase中hbase_hive_table表对应的文件，就是textfile要转换成的hfile文件