Trafodion ETL工具odb进行数据load方法及性能
来源:互联网 发布:mac 怎么卸载jenkins 编辑:程序博客网 时间:2024/06/05 15:43
简介
odb是Apache孵化项目Trafodion自带的ETL工具,主要可完成数据表的导入、导出和两个数据库之间的复制功能。是一个小巧实用、linux/windows双平台的工具。
当环境安装配置好odbc驱动后,就可使用odb对Trafodion、oracle等数据库进行导入、导出、复制操作。
指令及参数说明
指令如下:
./odb64luo -u USERNAME -p PASSWD -d DSN -l src=FILE_PATH:tgt=TRAFODION.SCHEMA_NAME.TABLE_NAME:loadcmd=UL:max=N:fs=,:parallel=M
使用以上指令可以把文件 FILE_PATH 导入数据库的表 TRAFODION.SCHEMA_NAME.TABLE_NAME 中。
-u:数据库用户名
-p:数据库密码
-d:数据库DSN,对应odbc.ini文件中的配置
-l:说明是load功能,相应的有 -e 导出, -cp 表复制
src:源文件路径
tgt:目标表
loadcmd:提供IN/UP/UL,其中UL速度最快,不过不做检查
max:load多少行,不写该参数默认load整个文件
fs:文件总每列的分隔符
parallel:并行程度,同时起多少个线程load数据,根据环境配置,正确设置该值可以极大优化load速率
当然,还有很多参数可以设置,这里不一一描述。
load性能
load性能和文件属性有很大的关系,如果文件中每行数据较多(对应表的列数多,每列内容多),则吞吐量较大
不同并发程度load数据的吞吐量如上图,在文件每行长度较大的情况下,可达135MB/s。
想要使用的朋友可以在GITHUB开源社区搜索 INCUBATOR_TRAFODION。
具体使用方法见官方说明书:
http://trafodion.incubator.apache.org/docs/odb/
- Trafodion ETL工具odb进行数据load方法及性能
- Trafodion ODB性能调优
- Trafodion odb 安装及使用
- Trafodion Trickle Load 之 odb Load/Extract/Copy命令用法
- Trafodion 使用odb导出表数据到文件
- 数据装载工具(ETL)设计(Extract Transform Load)
- Trafodion 使用odb加载中文
- Trafodion数据加载性能测试
- Trafodion 性能优化之加载数据
- 增量ETL数据抽取的策略及方法
- ETL数据清洗工具总结
- Trafodion Bulk Load 初试
- ETL数据测试方法小结
- 使用Kettle进行数据迁移(ETL)
- 使用Kettle进行数据迁移(ETL)
- Fresoar Data Manager 数据抽取(ETL)工具
- 开源ETL工具kettle--数据迁移
- 数据提取、转换和加载 - ETL工具
- Gulp returns error: EPERM: operation not permitted, chmod <directoryName>问题解决办法
- J2EE模式--拦截过滤器模式
- PHP读取csv文件的内容
- NSURLSession前台下载/后台下载/断点下载的代理执行路径(二)
- 'adb' 不是内部或外部命令,也不是可运行的程序或批处理文件
- Trafodion ETL工具odb进行数据load方法及性能
- Qt Charts - 让数据可视化更简单
- Ubuntu14.04编译安装mysql5.5
- ios学习--基于Xcode8插件开发~一键检测处理头文件引用
- MYSQL性能优化的最佳20+条经验-来自酷壳陈皓
- 269----session保存数据库中
- LInux中安装gcc-c++时报错和原有gcc版本冲突
- 用flask开发个人博客(39)—— 在flask中定义Rest API
- Java运用JDBC技术连接Mysql数据库