DataStage实践之简单入门
来源:互联网 发布:淘宝账号邮箱怎么注册 编辑:程序博客网 时间:2024/05/23 13:24
DataStage组成:
DataStage Designer(设计者):用来创建DataStage Job(作业)的设计接口。每个作业都指定数据源,所需的转换和数据的目的地。作业被编译成可执行的,由Director计划,由Server运行。
DataStage Director(指挥者):用来验证,计划时间,运行,监控DataStage的作业。
DataStage Manager(管理者):用来查看,编辑Repository的内容。
DataStage Administrator(主管):用于创建DataStage用户,创建,移动项目。
DataStage Director(指挥者):用来验证,计划时间,运行,监控DataStage的作业。
DataStage Manager(管理者):用来查看,编辑Repository的内容。
DataStage Administrator(主管):用于创建DataStage用户,创建,移动项目。
DataStage安装:
挺简单的,一路Next,当然首先你必须要有授权才行,:)
DataStage简单举例(以下例子均在Server Job下运行通过):
功能:实现将某个定长文本文件中的数据导入到Oracle数据库中。
总结:功能虽然简单,但是体现了整个ETL过程,即:从数据的抽取到数据的转换最后加载数据到指定库的过程。
附图:
各部分说明:
Sequential_File_0(序列文件):数据源文件,可以是.txt,.del等任何顺序文件。主要需要设置Outputs->General中的File name属性,选定来源文件;然后需要设置该文件所对应的结构,用Outputs->Columns->Load......来加载你所需要的结构。
Transformer(转换所用到的Stage组件):主要需要设置其“转换规则”(个人理解),当数据从Sequential_File_0中读出来的时候,按照相应的“规则”再加载到数据库中,其实也就是对数据实现清洗的过程,当然还有去重等等之类,在这里的例子比较简单,所以不需要对数据进行任何处理。该组件虽然使用很简单,但是效率却不是很好,所以在具体的实践中应尽量少用该组件。
Oracle_OCI_9(Oracle组件):DataStage之所以能够完成对异构数据库进行统一处理,最主要的原因我想就在于此吧!它提供了众多的数据库Stage,如DB2,Informix,Oracle,Sybase等等,即使你都不用,你还可以通过ODBC来完成对数据库的链接,一个字:强!这里对Oracle_OCI_9组件的设置主要在于对DataBase Source Name(数据库实例名称),User ID(表空间名称),Password(表空间密码)的设置,以及对某张表名,表结构的设置等等。
各部分设置附图:
Sequential_File_0:
Transformer:
Oracle_OCI_9:
经验总结:在运行时可能会遇到问题,用Director可以查看其报的错以及警告信息,不错哦!!
From:http://opengreat.blog.51cto.com/264115/62102
- DataStage实践之简单入门
- DataStage实践之简单入门
- DataStage实践之简单入门
- DataStage最佳实践之存储过程调用
- DataStage 最佳实践之读取解析EXCEL文件
- Datastage 入门示例
- DataStage 基础入门
- Datastage入门+实例(易理解)
- struts 简单入门实践-demo
- WebSphere DataStage BASIC 语言开发实践
- datastage
- datastage server job之前言
- java 调度 datastage 之jna
- datastage Transformation函数之INDEX
- datastage server job之java调用datastage job
- Axis实践之Axis入门
- Axis实践之Axis入门
- Axis实践之Axis入门
- 十个原因你应该用DataStage 8.5
- yii实现定时更新sitemap方法
- centos openoffice 文档转换命令
- 程序员需要了解的一点组织行为学知识
- 堆内存栈内存详解
- DataStage实践之简单入门
- ECShop全版本注入0day及修复
- 面向对象的程序设计学习笔记-10-[]下标运算符的重载-part1
- 用freeswitch建立呼叫中心系统的经验
- Android.mk简介
- DataStage(ETL)技术总结-介绍篇
- Android系统Recovery工作原理之使用update.zip升级过程分析(六)---Recovery服务流程细节
- JS实现IE下打印和打印预览
- Visual C++ TinyXml快速入门(三)