DataX配置和性能调优

来源:互联网 发布:gps导航软件下载 编辑:程序博客网 时间:2024/06/01 08:34

DataX是Alibaba开发的一款离线数据同步工具,功能十分强大。

其运行机制如下:

微笑

一个DataX Job会切分成多个Task,每个Task会按TaskGroup进行分组,一个Task内部会有一组Reader->Channel->Writer。Channel是连接Reader和Writer的数据交换通道,所有的数据都会经由Channel进行传输。

在DataX内部对每个Channel会有严格的速度控制,默认的速度限制是1MB/s,这也是为何我们使用默认配置,速度为1MB/s的原因。所以第一个需要优化的基础参数就是单个Channel的速度限制,更改配置如下: