初识ETL

前两周才听到ETL这个专业术语，才知道数据挖掘中的一个环节叫做ETL，baidu的结果如下

 

ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。

 

进而查到不少所谓ETL的工具，发现原来自己写shell，sql导出，再写php处理，然后再用shell和sql导入的这个简单过程，能够弄出这么一套复杂的体系。

 

其实原来也想过整理一下这个过程，规范化某些代码，明晰流程的同时便于复用，以提高效率，没想到还真有些人弄得这么复杂。

 

这跟我对项目的想法是一样的，需要不断的总结提取项目过程中的规律，尽量都形成程序化的流程，形成理论，然后对理论不断的完善和补充，但从ETL这个事情可以发现，这样的极端就是将本来简单的事情搞复杂了。

 

决定还是按照自己的想法来做ETL这个事情，脚本导出，scp传输，脚本过滤处理，脚本导入。。。

控制好代码格式，脚本存放秩序，以及补充的文本文件，应该没什么问题。