沃信科技T3 Sota安装配置手册（第5 章）

5 创建作业

5.1 SOTA作业概念

SOTA将数据从源库同步到目的库的过程抽象为一个作业。 

一个作业包含了对操作目标（数据库）和操作流程（抽取／分析／装载）的定义。

这些定义分布和存放在不同目录下的不同文件中，这些文件整体构成一个作业的描述和定义。

   这些描述信息包含：

1） 数据库描述和定义 

 

文件名

路径

文件作用

JobList.xml

Sota/run

设置作业名，设置源数据库名称，设置目标数据库的个数，设置目标数据库的编号，设置目标数据库的名称，设置目标数据库的装载个数

 

 

 

JobLoadFilter.xml

Sota/run

源数据库中允许和不允许哪些用户及用户下的表同步到目标数据库的设置

2）组件的描述和定义 

 oSucker/oParser/oLoader三个组件通过oBus来交换信息，所以在各个组件的配置文件中包含IP地址和端口号的设置。每个作业都有对应的抽取组件/分析组件/装载组件，即这三个组件的配置文件中都设置了作业名。

文件名

路径

文件作用

E_Config.xml

SotaData/作业名/conf

oSucker配置信息，除了配置以上信息外还配置了源数据库名称，以及源数据库中的那个用户和密码登录源数据库，oSucker 程序运行的所在目录和抽取过滤文件（Filter.xml文件）

L_Config_**.xml

SotaData/作业名/conf

oLoader配置信息，除了配置以上信息外还包含了从源数据库的哪个用户装载到目标数据库的那个用户下，目标数据库的名字，以目标数据库的那个用户和密码登录目标数据库，oLoader的工作路径和与之相关的oSucker/oParser的工作路径

P_Config.xml

SotaData/作业名/conf

oParser配置文件，除了配置以上信息外还包含了oParser和oLoader的工作路径

Filter.xml

SotaData/作业名/conf

允许/不允许源数据库中的哪些用户及用户下的表被提取的设置

 

5.2 创建第一个作业

SOTA默认没有作业配置信息。利用SOTA完成数据同步的首要工作是建立一个作业！

在创建作业之前首先要确认目标库和备库的名称，数据库SYS用户的密码，需要同步的用户或表名。

下面仔细说明创建一个作业的基本流程！

以job name为 Job001， 源数据库名为ODB10G ,目标数据库的个数为1，目标数据库的编号为1，目标数据库的名称为ODB11G,装载的个数为1为例来设置。

 

5.2.1 设置作业列表基本信息 –JobList.xml

格式：参考图JobList.xml_1

注意： 该文件必须有，里面的各个信息必须正确，否则将创建错误的作业信息。具体怎样配置JobList.xml文件如下：1）进入JobList.xml所在目录  2）查看/编辑JobList.xml文件。如果不知道怎样配置JobList.xml文件请参考图JobList.xml_1。

     

JobList.xml所在目录

./sota/run

<jobList>

<job name="Job001" >                                  <!--      设置作业名     -->

<srcdb name="ODB10G " />                 <!--      设置源数据库名     -->

<tgtdb num="1" >                                  <!--      设置目标数据库个数     -->

<attr id="1" name="ODB11G" LdrNum="1" />

                                                              <!--      设置目标数据库名，装载个数     -->

</tgtdb>

</job>

</jobList>

                   图JobList.xml_1

 

1.2.2 配置作业oSucker组件信息 – E_Config.xml

格式：参见图E_Config.xml   

注意：该文件必须有，里面的各个信息必须正确，否则oSucker组件无法运行。具体怎样配置E_Config.xml文件如下：1）进入E_Config.xml所在目录 2）查看/编辑E_Config.xml文件。如果不知道怎样配置E_Config.xml文件请参考图E_Config.xml。

 

E_Config.xml文件目录

./sotaData/Job001/conf

<LogConfig>

   <oracle>

      <dbname>ODB10G</dbname>         <!--      设置源数据库名     -->

      <user>sys</user>                               <!--      设置源库用户名  必须SYSDBA权限     -->

      <password>sys</password>              <!--      设置源库用户密码     -->

   </oracle>

   <busIP>127.0.0.1</busIP>                   <!--      设置BUSIP地址     -->

   <busPort>6379</busPort>                    <!--       设置BUS端口号      -->

   <jobID>Job001</jobID>                      <!--     作业名,  必须是jobList.xml文件中存在    -->

   <workdir>/opt/sotaData/Job001</workdir>   

                                                    <!--      这个必须正确, 否则无法启动SUCKER    -->

   <filterFile>/opt/sotaData/Job001/conf/Filter.xml</filterFile> 

      <!--      这个文件必须存在, 否则SUCKER无法工作，参看FILTER文件配置章节  -->

</LogConfig>

                         图E_Config.xml_2

1.2.3 配置Filter.xml信息 – Filter.xml

格式：参见图Filter.xml_2

注意：该文件必须有，里面的各个信息必须正确，否则抽取的数据可能不是想要的结果。具体怎样配置Filter.xml文件如下：1）进入Filter.xml所在目录 2）用vi编辑Filter.xml文件或者使用其他编辑工具编辑文件。

1) 对owner模式进行限制，例：用户模式下允许oSucker抽取的用户是SCOTT和JQD，不允许oSucker抽取的表为SCOTT.DUMMY和JQD.OBJ

.

Filter所在目录

./sotaData/Job001/conf

<filter>

   <mode>owner</mode>

   <omode>

  <list>SCOTT</list>                           <!--      允许SUCKER抽取的源库用户    -->     

  <list>JQD</list>

  <deny>SCOTT.DUMMY</deny>     <!--      不允许SUCKER抽取的源库用户下的表    -->

  <deny>JQD.OBJ</deny>

   </omode>

</filter>

2) 对table模式进行限制，例：在表模式下允许oSucker抽取的表是JQD.DEPT.

Filter所在目录

./sotaData/Job001/conf

<filter>

   <mode>table</mode>

<tmode>

  <list>JQD.DEPT</list>                     <!--      允许SUCKER抽取的源库用户的表    -->

   </tmode>

</filter>

3) 对all模式限制，例： 在用户及表模式下不允许oSucker抽取的用户有'SYS', 'SYSTEM', 'SYSMAN', 'CTXSYS', 'DBSNMP', 'DMSYS', 'MDSYS', 'ORDSYS', 'RMAN', 'WKSYS', 'WMSYS'.

Filter所在目录

./sotaData/Job001/conf

<filter>

   <mode>all</mode>

<all>

  <deny>'SYS', 'SYSTEM', 'SYSMAN', 'CTXSYS', 'DBSNMP', 'DMSYS', 'MDSYS', 'ORDSYS', 'RMAN', 'WKSYS', 'WMSYS'</deny> <!--      不允许SUCKER抽取的源库用户  -->

   </all>

</filter>

 

1.2.4 配置作业oParser 组件信息 – P_Config.xml

格式：参见图P_Config.xml_2

注意：该文件必须有，里面的各个信息必须正确，否则oParser组件无法运行。具体怎样配置P_Config.xml文件如下：1）进入P_Config.xml所在目录  2）查看/编辑P_Config.xml文件。

oBus的ip地址为 127.0.0.1，oBus的端口号为6379，根据以上内容为例编写P_Config.xml文件。详细内容请参考图P_Config.xml_2。

P_Config.xml文件目录

./sotaData/Job001/conf

<PsrConfig>

   <workdir>/opt/sotaData/Job001</workdir> 

                                                    <!--      这个必须正确, 否则无法启动Parser   -->

   <suckerdir>/opt/sotaData/Job001</suckerdir>

                                                    <!--      这个必须正确, 否则无法被SUCKER驱动    -->

   <busIP>127.0.0.1</busIP>                   <!--      设置BUSIP地址     -->

   <busPort>6379</busPort>                    <!--       设置BUS端口号      -->

   <jobID>Job001</jobID>                      <!--     作业名,  必须是jobList.xml文件中存在    -->

</PsrConfig>

                   图P_Config.xml_2

1.2.5 配置作业oLoader组件信息 –L_Config_**.xml

格式：参见图L_Config_**.xml_2.**为目标库名

注意：该文件必须有，里面的各个信息必须正确，否则oLoader组件无法运行。

L_Config_**.xml文件目录

./sotaData/Job001/conf

<LoadConfig>

   <workdir>/opt/sotaData/Job001</workdir>

                                                      <!--      这个必须正确, 否则无法启动   -->    

   <suckerdir>/opt/sotaData/Job001</suckerdir>

                                                 <!--      这个必须正确, 否则无法被SUCKER驱动    -->

   <parserdir>/opt/sotaData/Job001</parserdir>

                                                      <!--      这个必须正确, 否则无法被Parser驱动    -->

   <busIP>127.0.0.1</busIP>                     <!--      设置BUSIP地址     -->

   <busPort>6379</busPort>                      <!--      设置BUS端口号      -->

   <jobID>Job001</jobID>                        <!--      作业名,  必须是jobList.xml文件中存在    -->

   <oracle>

      <dbname>ODB11G</dbname>         <!--      设置目标数据名     -->

      <user>sys</user>                               <!--      设置目标库用户名  必须SYSDBA权限     -->

      <password>sys</password>              <!--      设置目标库用户密码     -->

   </oracle>

   <ownermap>

  <from>scott</from>                       <!--      设置从哪个用户下的表同步     -->

  <to>jqd</to>                                   <!--      设置同步到哪个用户下     -->

   </ownermap>

</LoadConfig>

              图L_Config_**.xml_2

5.2.6 配置作业装载组件信息 – JobLoadFilter.xml

格式：参见图JobLoadFilter.xml_1

注意：该文件必须有，里面的各个信息必须正确，否则Loader组件无法运行。

每个不同作业中，目标数据库名字严禁相同，否则在处理作业信息时会出错。

具体怎样配置JobLoadFilter.xml文件如下：1）进入JobLoadFilter.xml所在目录 2）查看/编辑JobLoadFilter.xml文件。

下面以允许装载的源数据库中的SCOTT用户及不允许装载该用户下的dummy和test这两张表，根据以上内容为例编写JobLoadFilter.xml文件。详细内容请参考图JobLoadFilter.xml_1。

 

JobLoadFilter.xml文件目录

./sota/run

<LoadFilter jobName="Job001" tgtDbName="ODB11G" >   

                                                       <!--      设置作业名，目标数据库名    -->

<allowOwner name="SCOTT">          <!--      设置允许的源库用户名    -->

<denyTable name="dummy" />   <!--      设置不允许装载的表名    -->

<denyTable name="test" />         <!--      设置不允许装载的表名    -->

</allowOwner>

</LoadFilter>

                    图JobLoadFilter.xml_1