从Kudu中导出、导入数据
来源:互联网 发布:mysql 如何使用 编辑:程序博客网 时间:2024/06/06 03:24
从kudu的表中导出数据,源码中提供了一系列的工具包。
kudu导出数据或者导入数据:
这是一个spark Application,根据代码中的用法:
可以选择导入或者导出数据
可以选择文件格式(csv,avro)
可以选择表名
可以选择输出路径
可以选择kudu的master
如果有特殊需求可以修改源码。
1. 用maven编译:
mvn package -DskipTests
2. 然后运行spark 任务
./spark-submit \--master local \--jars /home/libs/spark-avro_2.11-3.2.0.jar \--class org.apache.kudu.spark.tools.ImportExportFiles \/home/kudu/kudu/java/kudu-spark-tools/target/kudu-spark2-tools_2.11-1.6.0-SNAPSHOT.jar \--operation=import --format=avro --master-addrs=192.168.1.1 --path=/data/apps/data/kudu/users --table-name=test_users
kudu源码中还有一些tools,用Maven编译后可以使用,具体使用可以看代码中的usage。
阅读全文
0 0
- 从Kudu中导出、导入数据
- 如何用plsql从oracle中导入导出数据
- 如何用PLSQL从ORACLE中导入导出数据
- 如何用PLSQL从ORACLE中导入导出数据
- 如何用PLSQL从ORACLE中导入导出数据
- 如何用plsql从oracle中导入导出数据
- 如何用PLSQL从ORACLE中导入导出数据
- 从mysql中 导出/导入表及数据
- 如何用PLSQL从ORACLE中导入导出数据
- 利用PL/SQL从oracle中导入导出数据
- 从文本文档中导入数据库数据、从数据库中导出数据到文本文档
- Oracle中,数据导出导入
- 从excel导入数据到数据库中和gridview导出数据到excel中
- 将excel中数据导入到sql数据库,,从数据库导出到excel中
- 从数据库中导出数据
- 从数据库中导出数据
- 从sql server中导入/导出 excel
- 从数据库中导入导出文件
- 字符串统计
- C# 集合(list)
- 去你妈的996
- Java测试题(含答案和部分解析)
- 总结-2017/12/10
- 从Kudu中导出、导入数据
- 使用Opencv的python接口简单读取并显示图片
- UnityShader初级篇——透明度测试
- 虚拟现实(VR)技术与伦理
- 线程1
- 面试记录
- 算法与数据结构基础(三)插入排序、选择排序和冒泡排序的区别
- 实现基于静态数组的顺序表的基本操作
- 代码理解json.dumps(config, sort_keys=True, indent=4, separators=(',', ':')