HData——ETL 数据导入/导出工具
来源:互联网 发布:深圳平湖淘宝客服招聘 编辑:程序博客网 时间:2024/04/30 11:46
【HData特性】
1、异构数据源之间高速数据传输;
2、跨平台独立运行;
3、数据传输过程全内存操作,不读写磁盘;
4、插件式扩展。
【HData设计】
配置文件:XML格式,配置Reader、Writer的参数(如:并行度、数据库连接地址、账号、密码等);
Reader:数据读取模块,负责从数据源读取数据并写入RingBuffer;
Splitter:根据配置文件中Reader的并行度构造相应数据的ReaderConfig对象供Reader使用,以实现数据的并行读取;
RingBugffer:来自Disruptor的高性能环形数据缓冲区,基于事件监听模式的异步实现,采用无锁方式针对CPU缓存优化,在此用于Reader和Writer的数据交换;
Writer:数据写入模块,负责从RingBuffer中读取数据并写入目标数据源。
HData框架通过配置读取解析、RingBugffer 缓冲区、线程池封装等技术,统一处理了数据传输中的基本问题,并提供Reader、Splitter、Writer插件接口,基于此可以方便地开发出各种插件,以满足各种数据源访问的需求。
【编译&运行】
编译
执行 ./bin/package-hdata.sh 命令,执行成功后将会生成压缩包 ./buildhdata.tar.gz ,然后解压即可。
运行
./bin/hdata --reader READER_NAME -Rk1=v1 -Rk2=v2 --writer WRITER_NAME -Wk1=v1 -Wk2=v2
READER_NAME、WRITER_NAME分别为读/写插件的名称,例如:jdbc、hive Reader插件的参数配置以-R为前缀,Writer插件的参数配置以-W为前缀。
- HData——ETL 数据导入/导出工具
- HData——ETL 数据导入/导出工具
- HData——ETL 数据导入/导出工具
- ETL数据导入/导出工具 HData
- 正式发布jmyetl-1.0.2:一个表数据导入导出的ETL工具
- 数据导入导出工具
- 数据导入导出工具BCP
- TalendOpenStudio ------ 数据导入导出工具
- MongoDB数据导出导入工具
- ORACLE数据导出与导入专题(3)——使用exp/imp工具进行数据导入导出
- ETL工具kettle的使用:循环分页导入数据
- MySQL数据导入导出方法与工具
- 数据导入导出工具BCP详解
- 数据导入导出工具BCP详解
- 数据导入导出工具BCP详解
- 数据的导出和导入工具:mysqldump
- MySQL数据的导出和导入工具
- MySQL数据的导出和导入工具
- 深入理解Activity启动流程(三)–Activity启动的详细流程1
- scala 学习(一)——for循环
- Java实现Html转PDF
- FFmpeg播放视频类,可复用
- UVa10237 Bishops
- HData——ETL 数据导入/导出工具
- window下设置多个用户远程连接
- 文件的复制
- BindingException: Invalid bound statement (not found) 错误解决办法
- 【Unity&Shader】遮罩效果黑暗
- 代码规范(草案)
- bzoj 1874: [BeiJing2009 WinterCamp]取石子游戏 Nim游戏+SG函数
- 【BZOJ4521】手机号码,数位dp
- Storm1.0新版本特性