阿里云服务器部署otter实现数据双A同步过程记录(5)
来源:互联网 发布:北师大网络教育官网 编辑:程序博客网 时间:2024/05/16 17:59
建立同步任务的基本流程
使用Otter的web管理器配置一个同步需求的基本流程如下:
- 录入Zookeeper集群信息
- 录入Node机器信息
- 添加数据源信息
- 添加数据表信息
- 添加canal信息
- 创建Channel
- 创建Pipeline
- 添加映射关系
如果想操作Otter的web管理器,需要以管理员账户登录,默认为admin/admin
。
管理器的导航栏包含以下分类:
同步管理、机器管理、配置管理、监控管理、使用文档、系统管理。
建立同步过程的设置集中在:同步管理
、机器管理
和配置管理
中。
录入Zookeeper集群信息
录入集群信息是指将之前已经搭建好的集群关系,录入到Otter系统内。
点击机器管理
中的zookeeper管理
,点击添加
按钮录入集群信息:
集群名字: 可任意,方便识别即可ZooKeeper集群: 物理集群的所有IP及端口的集合
录入集群信息时,填写多IP以防止一台机器挂掉时,node可以连接集群内的其他集群机器,以西文分号隔开。
42.42.42.42:2181;42.42.42.43:2181;42.42.42.44:2181;
我们称这个集群为集群A,这是一个最基本的由三台机器组成的zookeeper集群,在这个集群附近创建的node机器都可以选择使用该集群A。
如果远端有以observer形式运行的集群节点,那么仍然可以通过添加
按钮录入这个zookeeper节点,称为集群B。
42.12.42.12:2181;42.12.42.13:2181;
此时,在该节点附近创建的node机器可以选择集群B。
录入Node机器信息
集群录入完毕后,应录入Node机器信息,点击机器管理
下的Node管理
,通过添加
按钮增加Node信息。
机器名称: 任意机器IP: 填写node的网卡IP,机器端口默认为2088下载端口: 推荐9090,#如果node不全在一个机房,包含外网通信选中: 启用外部IP填写该服务器的外部IPzookeeper集群: 需要选择离node最近的物理集群。
数据源配置
点击配置管理
下的数据源配置
,通过添加
按钮增加数据源信息。
数据源名字: 任意用户名和密码: 数据库的连接密码URL: 格式参见文本域下方示例编码: 一般为UTF8(跟随数据库的实际编码即可)#数据库账号应该使用具备外部访问权限的账号。
数据表配置
点击配置管理
下的数据表配置
,通过添加
按钮增加数据表信息。
schmea name: 填写希望同步的数据库名table name: 填写数据库内的数据表名数据源: 选择刚才添加的数据源配置。#下方的table示例可以看到#普通的单表同步为schmea.table#分表可以采用[1-x]形式进行通配#全局备份可以采用全部填写.*来实现。
Canal配置
点击配置管理
下的canal配置
,通过添加
按钮增加canal信息。
根据otter的描述,otter嵌入式地依赖canal,canal用于读取来源库的bin-log并且传递给目标库,我们在这里把canal想象成node机器的一个附属组件,编辑时按node的原则选择就近的集群、来源库的连接方式。
同步管理
同步管理的配置过程如下:首先创建channel,然后在channel下创建pipeline,最后在pipeline下添加映射关系。可以这样理解,channel是给node之间的数据同步开辟了一个通道,pipeline是用来定义数据同步的方向,映射关系是用来定义同步什么样的数据。
创建channel
首先创建channel,点击同步管理
,再点击添加
按钮。
Channel Name: 任意同步一致性: 推荐基于当前日志变更同步模式: 如果是单向同步,选择行模式,如果双向同步或双A同步,建议选择列模式避免数据冲突。数据一致性: 如果需要保证数据一致,那么开启该选项#其余默认即可
创建pipeline
点击刚创建好的channel名字,就会进入该channel的pipeline管理中,点击添加
按钮:
pipeline名字: 任意select机器: 数据来源的Node机器load机器: 被同步的Node机器主站点: 一个channel中只能有一个Canal名字: 对应select机器的canal高级设置: 支持ddl同步(主站点开,其余关)
添加映射关系
点击pipeline进入映射关系管理,点击添加
,根据同步需求选择源数据表和目标数据表即可,最后保存。
- 阿里云服务器部署otter实现数据双A同步过程记录(5)
- 阿里云服务器部署otter实现数据双A同步过程记录(1)
- 阿里云服务器部署otter实现数据双A同步过程记录(2)
- 阿里云服务器部署otter实现数据双A同步过程记录(3)
- 阿里云服务器部署otter实现数据双A同步过程记录(4)
- 阿里云服务器部署otter实现数据双A同步过程记录(6)
- 在亚马逊云服务器上部署阿里数据库Otter(一)
- 在亚马逊云服务器上部署阿里数据库Otter(二)
- 在亚马逊云服务器上部署阿里数据库Otter(三)
- 在亚马逊云服务器上部署阿里数据库Otter(四)
- OTTER跨数据中心双A数据同步-软件安装
- otter进行数据同步
- 阿里 otter搭建过程整理
- otter(三)--同步过程小解
- 利用OTTER实现准实时ETL、数据同步
- 部署阿里云服务器
- 记录web项目部署到阿里云服务器步骤
- 数据同步利器-otter的搭建使用说明
- pthread_join
- 包含min函数的栈
- 使用Openembedded定制嵌入式Linux镜像
- 关于微信精选留言点赞刷赞之公众号评论点赞及文章评论点赞软件使用方法
- addChild的时候报出invalid 'cobj' in function 'lua_cocos2dx_Node_addChild'的错误
- 阿里云服务器部署otter实现数据双A同步过程记录(5)
- nyoj 题目6 喷水装置(贪心)
- Python配置VTK库
- Spinner设置第一次默认不被选中
- Java8新特性_四大内置核心函数式接口
- AOP expression语法
- Android studio更新后出现警告:Warning:The `android.dexOptions.incremental` property is deprecated and it has
- 阿里云服务器部署otter实现数据双A同步过程记录(6)
- 链表反转