DataX 介绍

DataX实现跨平台的、跨数据库、不同系统之间的批量数据同步。

当我们需要从各种异构数据源之间完成数据同步的时候，是否需要开发很多工具完成？答案是不用，因为你有DataX。DataX独有的Reader/Writer插件体系，你只需要增加一种DataX的插件，便可以无缝对接其他数据源。

DataX目前支持的数据源

类型ReaderWriterRDBMS 关系型数据库MysqlReaderMysqlWriter OracleReaderOracleWriter SqlServerReaderPostgresqlWriter PostgresqlReaderSqlServerWriter DrdsReaderDrdsWriter阿里云数仓数据存储ODPSReaderODPSWriter  ADSWriterNoSQL数据存储OTSReaderOTSWriter HBaseReader(0.94)HBaseWriter(即将推出) MongoDBReaderMongoDBWriter无结构化数据存储TxtFileReaderTxtFileWriter HdfsReaderHdfsWriter OssReaderOssWriter  OCSWriter

DataX采用Framework + plugin架构构建，Framework处理了缓冲，流控，并发，上下文加载等高速数据交换的大部分技术问题，提供了简单的接口与插件交互，插件仅需实现对数据处理系统的访问。目前已经支持数据源见上面表格，详情请看：DataX数据源指南

DataX作业运行

DataXJob，即一个DataX作业，用户完成指定两个数据源之间的数据传输。数据传输过程在单进程内完成，全内存操作，不读写磁盘。

DataX框架内部会将作业切分成多Task，并调度组合在TaskGroup中运行。每一个Task数据流向即Reader—>Channel—>Writer。

用户可以指定作业并发度完成Task并发执行控制。

DataX目前阿里的应用情况

支持阿里所有离线数据传输的业务，每天运行超过2w个作业，每天接近200T左右数据量传输

https://github.com/alibaba/DataX/wiki/DataX-Introduction