集群间 Hive 数据 迁移 问题
来源:互联网 发布:进口数据查询 编辑:程序博客网 时间:2024/06/06 17:24
1、 从hive中导出数据至本地目录
insert overwrite local directory '/export/tmp' select * from test1 where create_time = '2013-11-25';
列数据之间默认以^A隔开。
2、将本地数据上传另一个集群的hdfs
/usr/local/hadoop-2.2.0/bin/hdfs dfs -put /export/tmp hdfs://host:port/tmp
3、将hdfs中的数据文件导入hive表中
hive -e "load data inpath '/tmp' into table test1;"
但某些表创建时,设置的以 '\t' 分割数据,在读取不到 '\t' 时,会将整行数据都导入第一列。
如果是hive-0.11.0版本,可以这样导出:
hive> insert overwrite local directory '/export/tmp' hive> row format delimited hive> fields terminated by '\t' hive> select * from test1 where create_time = '2013-11-25';
如果是低版本的hive,只好将导出的数据文件中的^A,替换为'\t':
sed -i 's/^A/\t/g' filename
同时需要将隐藏的.filename.crc校验文件删除掉,不然在上传的过程中,Hadoop将通过FSInputChecker判断需要上传的文件是否存在进行校验的crc文件,即.filename.crc,如果存在crc文件,将会对其内容一致性进行校验,如果校验 失败,会报fs.FSInputChecker: Found checksum error,停止上传该文件,最终导致整个MR任务无法执行。
- 集群间 Hive 数据 迁移 问题
- 集群间 Hive 数据 迁移 问题
- hive集群间数据迁移,export+import
- 不同hadoop集群之间迁移hive数据
- hadoop跨集群之间迁移hive数据
- hive 跨集群迁移
- 在HortonWorks HDP 2.1 和2.2 集群间进行数据迁移 包括(Hive数据表)
- hbase集群间数据迁移
- hdfs集群间数据迁移
- Hbase集群间数据迁移
- HIVE 数据迁移
- hive数据迁移
- Hive数据迁移
- hive数据迁移
- hive数据迁移
- hive数据迁移 导表
- Hive 批量数据迁移
- Hbase集群间数据迁移方法总结
- 查漏补缺,巩固基础——C++Primer之旅day2
- UVa:10940 Throwing cards away II
- 动易asp ie8中文章编辑器不能使用的修改
- JBoss Rules 学习(一): 什么是Rule
- UIAlertView用法
- 集群间 Hive 数据 迁移 问题
- JBoss Rules 学习(二): RETE算法
- css颜色代码
- java线程之join方法
- c/c++ 类中的成员变量声明时请优先考虑一下排列次序
- iBATIS 三个版本小细节对比
- java 基础知识3-变量初始化
- Android中的WebView禁止响应点击事件的方法
- C++ STL vector, valarray, 和bitSet使用方法对比