DataX配置和性能调优
来源:互联网 发布:gps导航软件下载 编辑:程序博客网 时间:2024/06/01 08:34
DataX是Alibaba开发的一款离线数据同步工具,功能十分强大。
其运行机制如下:
一个DataX Job会切分成多个Task,每个Task会按TaskGroup进行分组,一个Task内部会有一组Reader->Channel->Writer。Channel是连接Reader和Writer的数据交换通道,所有的数据都会经由Channel进行传输。
在DataX内部对每个Channel会有严格的速度控制,默认的速度限制是1MB/s,这也是为何我们使用默认配置,速度为1MB/s的原因。所以第一个需要优化的基础参数就是单个Channel的速度限制,更改配置如下:
阅读全文
0 0
- DataX配置和性能调优
- DataX配置定时任务
- DataX配置及使用
- datax hbase writer versionColumn/rowkeyColumn相关配置的解释
- SOLR管理配置和性能优化JVM参数调优
- HBase配置性能调优
- HBase配置性能调优
- HBase配置性能调优
- HBase配置性能调优
- HBase配置性能调优
- Struts2性能调优配置
- struts2性能调优配置
- dataX简介
- DataX简介
- DataX 介绍
- DataX介绍
- PostgreSQL性能调优:调整硬件配置
- HBase配置性能调优(转)
- 通达OA短信平台,通达OA完美对接中国移动MAS短信平台
- 安卓app开发遇到的问题以及解决方法
- es6 let与constant命令
- 【译】唯快不破:Web 应用的 13 个优化步骤
- Java中final关键字对基本类型和引用的差别
- DataX配置和性能调优
- cvte笔试题
- [Struts2] 文件上传和下载
- HDU 5676 ztr loves lucky numbers
- c++中的构造函数注意事项
- hive计算map数和reduce数
- [Struts2] 值栈
- 【Array】数组删除最后一个元素;
- 最长递增子序列长度(动态规划)