hive数据迁移
来源:互联网 发布:python数据分析 视频 编辑:程序博客网 时间:2024/05/17 22:02
项目中需要把开发环境中的表与数据迁移到生产环境,Hive中没有提供直接工具,但是可以利用hive提供的export/import 工具实现批量同步。
具体使用参考 ImportExport
1. 设置默认需要导出的hive数据库
1. 设置默认需要导出的hive数据库
vi ~/.hiverc
use logbase;
2. 创建数据临时目录
hdfs dfs -mkdir /tmp/hive-export
3.生成导出数据脚本
3.生成导出数据脚本
hive -e "show tables " | awk '{printf "export table %s to @/tmp/hive-export/%s@;\n",$1,$1}' | sed "s/@/'/g" > export.hql
手工去掉第一行(因为第一行是tab_name,不是实际表)
4.手工导出数据到hdfs
4.手工导出数据到hdfs
hive -f export.hql
5. 下载hdfs数据到本地并传送到目标hadoop集群的/tmp/hive-export 目录
hdfs dfs -get /tmp/hive-export/*
hdfs dfs -put * /tmp/hive-export
5. 下载hdfs数据到本地并传送到目标hadoop集群的/tmp/hive-export 目录
hdfs dfs -get /tmp/hive-export/*
hdfs dfs -put * /tmp/hive-export
7.构造导入语句
cp export.sql import.sql
sed -i 's/export table/import table/g' import.sql
sed -i 's/ to / from /g' import.sql
8.导入数据 (第5步上传的路径一定要与导出的路径一致,如果目标数据库不是default,需要编辑目标集群的 ~/.hiverc文件)
hive -f import.sql
8.导入数据 (第5步上传的路径一定要与导出的路径一致,如果目标数据库不是default,需要编辑目标集群的 ~/.hiverc文件)
hive -f import.sql
0 0
- HIVE 数据迁移
- hive数据迁移
- Hive数据迁移
- hive数据迁移
- hive数据迁移
- hive数据迁移 导表
- Hive 批量数据迁移
- HBase数据迁移至Hive
- hive索引数据 mysql数据迁移
- 集群间 Hive 数据 迁移 问题
- 集群间 Hive 数据 迁移 问题
- 不同hadoop集群之间迁移hive数据
- hive相关元数据迁移(mysql)
- Sqoop1 从Oracle往Hive迁移数据
- hadoop跨集群之间迁移hive数据
- hive集群间数据迁移,export+import
- 使用sqoop将oracle数据迁移到hive中
- hive元数据从mysql迁移到oracle
- 创业互联网公司如何搭建自己的技术框架
- 转--统计学习那些事
- Qt Quick里的图形效果:阴影(Drop Shadow)
- 第八周 OJ 小球自由下落
- 重启iscsi报19 - encountered non-retryable iSCSI login failure
- hive数据迁移
- 一个与map下标操作有关的编译错误(花了5分钟才找到原因)
- FragmentManager的使用注意事项
- ScrollView嵌套ListView(ViewGroup事件分发)
- 老板说做SEO只是发外链写软文的,怎么破?
- 欢迎使用CSDN-markdown编辑器
- 调一个cpld小板
- 关于Unity3D(4.7和5.3.4)与IOS原生Object-C交互,调用IOS原生UIImagePickerController的问题
- Eclipse 窗口,视图 说明