Pentaho Kettle ETL整理及ETC技术细节系列

来源:互联网 发布:fastjson解析嵌套数组 编辑:程序博客网 时间:2024/06/04 18:52

          ETL是什么今天在这里就不做特别说明了,因为如果你要是不明白ETL的话,还是先了解一下ETL是什么,能干什么,在那些实际的业务场景可用,最好能先了解一下,今天我们来说说为什么一定要用ETL。因为现在很多时候我们汇报都需要报表,无论是二维表EXCEL亦或是可视化报表,都需要有数据,不然我们用什么做报表汇报呢,但是当前我们不得不面对的问题是什么呢,经过多年的发展,我们往往建立了跟多个系统,很多系统都有自己核心业务的数据,而我们汇报的时候,往往需要将这些个系统的数据进行融合后进行整理汇报,以往手工我们是导出excel然后通过公式合并,在进行数据汇总做报告。数据融合的这个过程,我们会通过ETL来替我们完成,我们明白了ETL能干什么,接下来我们就进入正题,说说行业开源项目Kettle。

Kettle会按照下面的顺序进行讲解

  1. 数据抽取
  2. 清洗和校验
  3. 处理维度表
  4. 调度和监控
  5. 并行,集群和分区


原创粉丝点击