ETL的步骤

来源:互联网 发布:淘宝客快速建站 编辑:程序博客网 时间:2024/05/01 16:34

1,日志产生器:负责从生产环境(OLTP什么的)取下原始数据,一般是log;

2,日志传输器:将log取到处理日志的机器上;

3,日志处理器:脚本写的,shell,php啥的,用来筛选数据,并检查是否出现大规模的异常,生成可导入的数据文件;

4,日志装载器:负责将数据文件导入数据仓库。

 

准备按照以上的步骤规整一下目前的数据情况

 

 

原创粉丝点击