沃信科技T3 Sota安装配置手册(1-4章)

来源:互联网 发布:七月算法 百度云 编辑:程序博客网 时间:2024/04/25 15:25

沃信科技有限公司

地址:

深圳市南山区深南大道海岸时代902#     邮编:518000

网址:

http://www.woxintech.com

客户服务邮箱:

href="mailto:jinqd@woxintech.com" jinqd@woxintech.com

客户服务电话:

0755-86934803

客户服务传真:

0755-86934803

 

 

 

 

 

 

 


前  言

修改记录

修改记录累积了每次文档更新的说明。最新版本的文档包含以前所有文档版本的更新内容。

读者对象

本手册适用于使用sota系统的系统管理员,推广人员,系统操作员,帮助他们更好理解和使用sota系统。

需要了解的相关知识

1. Linux操作系统

2. Oracle数据库

符号及约定

名称

格式

意义

按钮约定

按钮以加双引号的黑体表示

按钮包括键盘上的按钮、程序界面上的按钮和菜单中的选项,如键盘上的Enter”,界面中的确定”执行器”

字体格式约定

文章中加黑的字体

表示该段文字比较重要:。引用的文字用双引号表示

文字中的双引号

引用的文字用双引号表示

鼠标约定

单击

表示快速地按一下鼠标左键或右键(缺省为左键)

双击

表示快速连续地按二下按两下鼠标左键

右击

表示快速地按一下鼠标右键

拖放

表示按住鼠标左键不放并把它拉到某一位置。

符号约定

 

备注说明

 

声明

 

文档版本 01(2013-07-09)

第一次正式发布。

如果您在使用本手册或者系统应用过程中有任何意见和建议,欢迎提出,我们会努力提高产品和服务质量,我们衷心感谢各位用户对我们工作上支持!

 

1 目  录

目录

修改记录 v

读者对象 v

相关文档 v

符号及约定 v

文档版本 01(2012-07-09) vi

1 目   vi

2 产品介绍 2-1

2.1 功能介绍 2-1

2.2 典型应用 2-1

2.3 Sota系统构架 2-2

2.3.1 oBus 2-2

2.3.2 Planner 2-2

2.3.3 Sucker 2-3

2.3.4 Parser 2-3

2.3.5 Loader 2-3

2.4 目录说明 2-3

2.4.1 Sota目录 2-3

2.4.2 sotaData目录 2-4

3 软硬件需求 3-5

3.1 硬件需求 3-5

3.2 软件需求 3-5

4 系统安装 4-6

4.1 空间准备 4-6

4.2 环境准备 4-7

4.2.1 检查源库和备库的TNS信息 4-7

4.2.2 检查到源库和备库的网络是否联通 1

4.2.3 检查SQLPLUS程序是否存在 4-1

4.2.4 检测源库和备库是否可以连接 4-1

4.2.5 检查SOTA需要的SSL共享库 4-1

4.2.6 检查是否有dmidecode文件 4-1

4.3 目录规划 4-1

4.4 sota安装 4-2

4.5 安装配置 4-2

4.5.1 配置oPlanner.cfg文件 4-3

4.5.2 license.dat详解 4-3

4.6 安装验证 4-3

5 创建作业 5-4

5.1 SOTA作业概念 5-4

5.2 创建第一个作业 5-6

5.2.1 设置作业列表基本信息 –JobList.xml 5-6

5.2.2 配置作业oSucker组件信息 – E_Config.xml 5-6

5.2.3 配置Filter.xml信息 – Filter.xml 5-7

5.2.4 配置作业oParser 组件信息 – P_Config.xml 5-9

5.2.5 配置作业oLoader组件信息 –L_Config_**.xml 5-9

5.2.6 配置作业装载组件信息 – JobLoadFilter.xml 5-10

5.3 获取文档的方法 5-11

 


2 产品介绍

沃信T3数据库容灾软件是一款基于数据库日志技术的数据库数据同步复制软件,SOTA是其针对ORACLE数据库的同步程序模块。

2.1 功能介绍

· 支持各版本ORACLE数据库

· 支持各种LINUX32/64位操作系统 

· 不停机初始化工具能够保证业务系统不停机的情况下快速进行 

· 通过对日志文件读取,保证数据库交易的准确提取 

· 完善的提取、分析、装载机制,保证数据在各环节的安全可靠 

· 支持独立安装,保证对主机、备机的资源占用最小化,CPU不超过10%,内存不超过256M 

· 模块化设计,多线程运行,保证数据库最快同步。 

· 客户端支持WINDOWS98/2K/XP/2003,有独立的登陆校验机制。 

· 增量日志传输能够保证数据在网络带宽很差的情况下达到实时同步 

· 断点续传能保证数据在网络状况很不稳定的情况下达到实时同步,即使是卫星带宽 

 

2.2 典型应用

· ERP系统容灾     

· OA 系统容灾 

· BOSS 系统容灾

2.3 Sota系统构架

Bus     :总线模块  

Planner :作业管理和调度模块 

Sucker  :日志抽取模块

Parser  : 交易分析模块

Loader : 交易装载模块

沃信数据同步工具不需要在生产系统和备份系统上安装任何程序,只需要一个具有操作相应数据权限的数据库连接即可正常工作,不会影响生产系统和备份系统的可用性,只与生产系统和备份系统保留必须的交互,对生产系统的性能影响也非常小。

沃信数据同步工具的抽取组件从源数据库的联机日志(Online Log)和归档日志(Archive Log)中捕获数据库日志(Redo Log)记录,再通过分析组件对获取的Redo Log进行分析,获取完整的交易记录和针对每个数据库表操作的SQL语句,然后通过装载组件在目标数据库中执行该SQL语句,同步数据库变更。

2.3.1 oBus

oBus是用于存取数据,把数据信息在各个模块里进行交换,减少各个模块的拓朴结构构成星型拓朴。oBus位于星型拓朴结构的中心,其他各个模块在它的周围,它们是通过oBus进行信息传递而不是它们之间相互传递。oBus没有配置文件,它使用默认的配置文件,使用默认的端口号为6379

2.3.2 Planner

Planner对应的模块名称为oPlanner.

oPlanner根据定义的作业内容来控制和调度Sucker/Parser/Loader各个进程。

oPlanner的作用:

· 管理作业

· 控制license

· 控制组件

· 调度组件

管理作业包括创建作业,更改作业,删除作业,启动作业,关闭作业。

2.3.3 Sucker

oSucker程序以尽可能快的方式来读取源端oracle数据库日志文件内容,包含DDLDML的日志。

2.3.4 Parser

oParser 组件是分析数据程序,它是被oSucker程序驱动的。oParser也是按照批次来运行程序。oParser根据对表操作的交易作为一个事务把它从oSucker提取出来的日志信息进行分析,分析后的数据操作再分成两部分:提交事务和未提交事务。

提交的事务经分析程序后保存到相对应表的索引文件中。

2.3.5 Loader

oLoader组件是用于从对源数据库的操作装载到目标数据库下。OLoader组件由planner驱动。

2.4 目录说明

2.4.1 Sota目录

目录

文件名

文件说明

sota/bin

oSucker

oParser

oLoader

oPlanner

oLic

sotaCC

oSuckersota系统的抽取数据日志程序

oParsersota系统的分析数据程序

oLoader是数据装载同步迁移程序

oPlanner是管理和调度oSucker/oParser/Loader的程序,oLic是使用sota系统的认证程序

sotaCC是字符界面管理sota系统程序

sota/conf

oPlanner.cfg

 

License.dat

oPlanner.cfg文件是关于配置sota系统服务端的IP和端口信息及工作路径。

License.dat文件无须配置是运行oLic程序后自动产生,决定使用者使用该SOTA系统的程度和时间。

sota/lib

ReadMe

说明文件

sota/run

JobList.xml

 

 

JobLoadFilter.xml

JobList.xml 文件是关于作业信息的文件,在该文件中可以通过添加作业名来实现创建作业,删除作业名来实现删除作业操作,更改作业名来完成更改作业操作。 JobLoadFilter.xml是作业装载同步配置文件。

sota/log

oPlanner.log 

 

oPlanner.log.old

各有5M的空间用来存放运行程序日志文件,当oPlanner.log存满了之后,就将oPlanner.log的内容转到oPlanner.log.old中,继续存放新文件。

2.4.2 sotaData目录

sotaData文件可以供用户放多个作业(SOTA将数据从源库同步到目的库的过程抽象为一个作业),用来动态的存放数据文件。将它指向其他的磁盘阵列时 ,它可以不消耗本地资源。

目录

文件名

文件说明

sotaData/作业名/batData

 

 

sotaData/作业名/conf

E_Config.xml

Filter.xml

P_Config.xml

L_Config_**.xml

存放作业的相关配置信息

sotaData/作业名/err

 

存放的是出错误或着装载失败的信息

sotaData/作业名/idxData

 

存放Tabsum的信息

sotaData/作业名/log

 

存放oSucker/oParser/Loader运行的日志信息

sotaData/作业名/metaData

 

存放表结构信息

sotaData/作业名/rowData

 

 

sotaData/作业名/run

 

存放运行之中产生的文件(如断点信息等)

sotaData/作业名/txnData

 

存放tabLoad_XX(备库)的信息

 

 

3 软硬件需求

3.1 硬件需求

如下:

设备

说明

CPU

2个以上

内存

1G以上

硬盘

两个以上,有阵列更好。每个磁盘40G以上

网卡

10M以上

3.2 软件需求

如下:

软件

说明

操作系统

Ubuntu (版本应为10.0.0.4及以上)

编译器

RPGCLSQL编译环境

FTP CLIENT

跟随相应操作系统的版本

REXEC CLIENT

跟随相应操作系统的版本

ssl共享库文件

libssl0.9.8ssllib0.9.8-dbg

Linux硬件检测文件

dmidecode

Oracle

需安装有Oracle服务器或客户端,可为8i9i10g11g任意版本

 

4 系统安装

4.1 空间准备

Sota所需要的空间:sota程序大小加上日志文件的大小,推荐至少60M以上磁盘空间。

sotaData所需的空间:按照作业量分配大小,为作业INIT数据加上日志增量,如:每天产生数据200M,运行一年,则磁盘大小至少200*365M 

4.2 环境准备

 

4.2.1 检查源库和备库的TNS信息

1.找到存放tnsnames.ora的路径

****/network/admin/tnsnames.ora

2.编辑更改tnsnames.ora文件

EBS =   

  (DESCRIPTION =

    (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.8.88)(PORT = 10010))

<!----描述配置客户端信息, PROTOCOL是协议,HOST主机IP地址,PORT端口号—oracle 默认1521EBS系统server端设置的是10010,端口号必须与服务端设置相同------->

<!----客户端名由用户自定义命名----->

    (CONNECT_DATA =

      (SERVER = DEDICATED)         <!----连接模式: DEDICATED专用服务器连接, shared共享服务器连接---->

      (SERVICE_NAME = PORCLI)   <!---服务端数据库名字-----必须是安装数据库起的名字一致>

    )

  )

 

 


4.2.2 检查到源库和备库的网络是否联通

打开终端,利用ping+IP地址,查看网络是否连通。例如,“ping 192.168.8.8 ”,返回结果:


PING 192.168.8.8 (192.168.8.8) 56(84) bytes of data. 

64 bytes from 192.168.8.8: icmp_req=1 ttl=64 time=44.9 ms 

64 bytes from 192.168.8.8: icmp_req=2 ttl=64 time=44.9 ms 

64 bytes from 192.168.8.8: icmp_req=3 ttl=64 time=43.0 ms

则连通,否则未连通。


4.2.3 检查SQLPLUS程序是否存在

     查看是否有sqlplus,并且能连接数据库。用“which sqlplus”命令显示:

/.../sqlplus ,则有sqlplus

4.2.4 检测源库和备库是否可以连接

然后用“tnsping  odb10g ”或者“sqlplus  scott/tiger@odb10g”得到结果: 

SQL*Plus: Release 10.2.0.1.0 - Production on Thu Mar 21 17:03:04 2013 

Copyright (c) 1982, 2005, Oracle.  All rights reserved.

Connected to: 

Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production 

With the Partitioning, OLAP and Data Mining options  

则连上数据库,反之,则没连上。

4.2.5 检查SOTA需要的SSL共享库

     在终端中输入“locate libcrypt | grep crypt.so”查看ssl库是否在。

例如,locate libcrypt | grep crypt.so,返回结果: 

/home/buddi/ora10g_l/lib/stubs/libcrypt.so 

/home/buddi/ora10g_l/lib/stubs/libcrypt.so.1 

/lib/i386-linux-gnu/libcrypt.so.1 

/usr/lib/i386-linux-gnu/libcrypt.so 

 

则存在,反之则不存在。

4.2.6 检查是否有dmidecode文件

查看是否有dmidecode.用“whereis  dmidecode”查看返回结果dmidecode: /usr/sbin/dmidecode/usr/share/man/man8/dmidecode.8.gz.则有该文件,反之,则无。

4.3 目录规划

sota不能安装在/home目录下。

强烈建议在rootopt目录下放 sota文件夹与sotadata文件夹。

sota文件夹:/opt/sota

sotaData文件夹及子目录如下:/opt/sotaData/作业名/,并在其下依次建立9个文件夹:batDataconferridxDatalogmetaDatarowDataruntxnData.

 

4.4 sota安装

安装过程应在Oracle安装用户下进行,参照目录规划的内容,将sotasotaData复制到该目录下。如打包文件名为 

sota2.2.tar.gz.命令如下:   

cd  /opt 

cp  sota2.2.tar.gz   .

tar zxvf  sota2.2.tar.gz      //解压sata2.2

mkdir sotaData 

cd  /sotaData

mkdir 作业名

cd  /作业名

mkdir batData                

…                            //重复”mkdir  ***”创建目录规划的9文件夹。

完成后如下图所示:

 

注:初次安装者可直接将sotaData目录下example改为作业名。

4.5 安装配置

为了能够顺利进行安装验证,必须配置oplannerConfig文件。

启动oBus之前不需要配置任何文件,但启动oPlanner则不一样,它有Config文件。在启动前要配置好所需的Config文件,另外还需要License.datJobList.xml。为什么还要这两个文件呢?License.dat文件包含了名字,使用SOTA系统的开始时间,有效使用期限和KEY这些内容,根据有效使用期限和使用的开始时间来决定使用者能使用哪些模块。JobList.xml文件是用来配置作业名,作业的个数,源数据库和目标数据库的情况,有了作业的相关信息才能决定组件的情况。JobLoadFilter.xml文件有用来配置的作业名。

OPlanner配置这四个文件的顺序是:oPlanner.cfg-->License.dat   -->JobList.xml-->jobloadFilter.xmloPlanner的运行必须需要这四个文件,这四个文件是相辅相成,缺一不可。

4.5.1 配置oPlanner.cfg文件

oPlanner.cfg文件是oPlannerConfig文件,主要是设置oPlanner的工作路径/ip地址和端口号。图oPlanner.cfg_1是对oPlanner.cfg文件的解释。oPlanner工作路径根据实际情况而定,这里的工作路径以/opt/sotaData 为例来配置oPlanner.cfg文件请参考图oPlanner.cfg_2

 

oPlanner.cfg文件内容

变量描述

变量类型

变量值

ip

ip地址

字符类型

127.0.0.1 

port

端口号

数值类型

6379

jobDir

oPlanner工作路径

字符类型

     视实际情况而定

                           图oPlanner.cfg_1

oPlanner.cfg所在目录

./sota/conf

Ip=127.0.0.1                                                      <!--      设置IP地址     -->

port=6379                                                          <!--      设置端口号    -->

jobDir=/opt/sotaData            <!--       工作路径必须填写,否则Oplanner无法运行    -->

                       图oPlanner.cfg_2

4.5.2 license.dat详解

License.dat文件无须配置是运行oLic程序后自动产生,包含了名字,使用SOTA系统的开始时间,有效使用期限和KEY这些内容。决定了使用者使用该SOTA系统的程度 ,根据有效使用期限和使用的开始时间来决定使用者能使用哪些模块。普通用户使用该SOTA系统默认有效期为1个月,这段期间可以使用SOTA的全部功能,逾期后将不再拥有数据迁移的权限。

注意:第一次使用SOTA系统,要使用SOTACC程序运行start  OPlanner产生相应的license.dat文件(备注:每个安装SOTA系统的主机都有相对的license.dat文件,license.dat文件根据安装SOTA系统的主机的主板及网卡等信息来产生key)。

4.6 安装验证

• 检查哪些文件存在并且有执行权限,命令: 

cd  /opt/sota

ll

cd  /opt/sotaData

ll 

• 命令行启动oBusSvr测试,命令: 

cd  /opt/sota/bin

./oBusSvr

 

另开启新终端,命令: 

ps -ef | grep oBusSvr

 

 

查看oBus进程是否存在,若存在,则成功,反之,则失败。

• 命令行启动oPlanner测试,oBus启动后才能启动oPlanner,命令:

cd  /opt/sota/bin

./oPlanner

另开启新终端,命令: 

ps -ef | grep oPlanner 

查看oPlanner进程是否存在,若存在,则成功,反之,则失败。

原创粉丝点击