您的位置：首页 > 数据库 > MySQL

mysql数据库双机同步开源软件otter

2014-10-27 09:52 218 查看

哎，新项目的数据库同步方案初步考虑用Mysql自带的双主复制机制，被客户方的dba狠狠的鄙视了，只扔过来一句：不同意，原因：无。

先说下项目情况，数据库是只用于管理后台供管理员配置使用，不影响任何业务的主流程，单机房可以满足需求。可是客户非要求用双机房双写，本着简单解决问题的想法，我们就打算采用单点写双读。可是结果。。。。郁闷的是，人家都懒得跟我们说一声原因，怎么问都往数据不一致问题上绕，

，单写！额。。。开发工期很紧，我们先开发了，到最后都部署了，又跟客户沟通数据库同步问题。这次在绕了好几天后，dba终于开口说，原因是Mysql本身的复制机制在跨机房情况下不可靠。

泪奔.......

otter开源了

，这个时间点太好了，刚好能用上，ye！向otter的开发者致敬！

otter的wiki页面：https://github.com/alibaba/otter

otter的环境需要：mysql，jdk,zookeeper,node,aria2,manager

为了防止otter的闪断，我把一些软件上传到了百度云上：
http://pan.baidu.com/share/link?uk=3708161223&shareid=2987646776#dir
其他的就不说了，直接说安装和使用。

1安装mysql,jdk,zookeeper

otter只支持5.5及以下版本的Mysql，不支持maridb

此处假设安装了数据库A:192.168.85.10:3306

数据库B:192.168.85.11:3306

jdk，我安装的是7，安装完后，配置环境变量

zookeeper，可以只安装一个，可以以集群形式安装。

我现在只安装了一个，zookeeper的地址：192.168.85.10:2181

2安装node和aria2

node需要aria2支持，我是在AB机房各安装了一套。

安装node:

创建目录：mkdirnode

进入目录：cdnode

下载node：

解压缩：tarzxvfnode.deployer-$version.tar.gz

修改node的配置：viconf/otter.properties

otter.manager.address=172.20.150.70:1099##对用manager中otter.properties的配置otter.communication.manager.port

node的启动/停止：

cdbin

startup.sh/stop.sh

安装aria2:

下载aria2:

解压缩：tarzxvfaria2-$version.tar.gz

为了方便切换目录：mvaria2-$versionaria2

进入目录：cdaria2

编译：

./configure

Make

Makeinstall

把aria2安装后的bin目录下的执行文件添加到环境变量path中

(我本地安装的目录是/usr/local/aria2,安装后,bin目录在/usr/local/bin/)

3安装manager

创建目录：mkdirmanager

进入目录：cdmanager

下载：wgethttps://github.com/alibaba/otter/releases/download/otter-x.y.z/manager.deployer-x.y.z.tar.gz
解压缩：tarzxvfmanager.deployer-$version.tar.gz

安装manager的数据库：

下载初始化sql:wgethttps://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql
进入Mysql中执行：mysql>source/usr/local/otter-manager-schema.sql

修改manager的配置文件：viconf/otter.properties

##ottermanagerdomainname

otter.domainName=172.20.150.70##本地的域名

##ottermanagerhttpport

otter.port=8080##对外访问的端口号

##jettywebconfigxml

otter.jetty=jetty.xml

##ottermanagerdatabaseconfig

otter.database.driver.class.name=com.mysql.jdbc.Driver

otter.database.driver.url=jdbc:mysql://192.168.85.10:3308/otter##otter数据的配置

otter.database.driver.username=canal

otter.database.driver.password=canal

##ottercommunicationport

otter.communication.manager.port=1099##对应Node中的配置

##ottercommunicationpoolsize

otter.communication.pool.size=10

##defaultzookeeperaddress

otter.zookeeper.cluster.default=192.168.85.10:2181##zookeeper

manager的启动/停止：

cdbin

tartup.sh/stop.sh

4调试

启动预装好的Mysql,zookeeper,manager.

4.1在manager的界面，添加Node，如下图：

机器管理—》Node管理

添加完成后，根据添加后的node序号，如下图中，192.168.85.10中对应的序号是1，那么进入10机器下的node目录，执行echo1>conf/nid,然后启动node.

4.2添加Zookeeper：

机器管理-》Zookeeper管理

如图，点击添加按钮，添加内容参考下图：

4.3数据源配置：

配置管理-》数据源配置，点击添加按钮

数据源配置填写需要同步的两个数据库信息

添加内容如下图所示，添加完成后，点击验证连接数据源

4.4数据表配置：

配置管理-》数据表配置，点击添加按钮。

数据表配置需要同步的表的信息

添加数据库的名称，数据表的名称和数据源名称，并点击验证连接表

4.5canal配置：

配置管理-》canal配置，点击添加按钮。

canal需要添加两个，每一个对应一个数据库信息，从配置的数据库中，拉取bin-log信息。

4.5同步管理：

1）添加channel

2）channel下需要配置pipeline,点击channel的名字，可以添加pipeline

3）添加完成pipeline后，点击pipeline的名字，添加映射关系，映射关系配置同步的原表和目标表。

4）配置完成后，启动channel.

需要注意的是，如果配置的双通道，就是双机房双写，那么需要点击使用文档-》数据库初始化页面。

在双机房的数据库同时执行初始化SQL.

5）启动后，对双机房中的相应表分别进行插入，更新或其他操作，验证双机房同步结果~

终于同步了！再次感谢otter的开发者agapple

，否则我还不定在哪边绕呢。

项目背景

阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。

otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。

目前同步规模：

同步数据量6亿
文件同步1.5TB(2000w张图片)
涉及200+个数据库实例之间的同步
80+台机器的集群规模

项目介绍

名称：otter['ɒtə(r)]

译意：水獭，数据搬运工

语言：纯java开发

定位：基于数据库增量日志解析，准实时同步到本机房或跨机房的mysql/oracle数据库.

工作原理

原理描述：

1.基于Canal开源产品，获取数据库增量日志数据。什么是Canal,请点击

2.典型管理系统架构，manager(web管理)+node(工作节点)

a.manager运行时推送同步配置到node节点

b.node节点将同步状态反馈到manager上

3.基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.

什么是canal?

otter之前开源的一个子项目，开源链接地址：http://github.com/alibaba/canal

otter能解决什么？

1.异构库同步

a.mysql->mysql/oracle.(目前开源版本只支持mysql增量，目标库可以是mysql或者oracle，取决于canal的功能)

2.单机房同步(数据库之间RTT<1ms)

a.数据库版本升级

b.数据表迁移

c.异步二级索引

3.跨机房同步(比如阿里巴巴国际站就是杭州和美国机房的数据库同不，RTT>200ms，亮点)

a.机房容灾

4.双向同步

a.避免回环算法(通用的解决方案，支持大部分关系型数据库)

b.数据一致性算法(保证双A机房模式下，数据保证最终一致性，亮点)

5.文件同步

a.站点镜像(进行数据复制的同时，复制关联的图片，比如复制产品数据，同时复制产品图片).

单机房复制示意图：

说明：

a.数据on-Fly，尽可能不落地，更快的进行数据同步.(开启nodeloadBalancer算法，如果Node节点S+ETL落在不同的Node上，数据会有个网络传输过程)

b.node节点可以有failover/loadBalancer.

跨机房复制示意图：

说明：

a.数据涉及网络传输，S/E/T/L几个阶段会分散在2个或者更多Node节点上，多个Node之间通过zookeeper进行协同工作(一般是Select和Extract在一个机房的Node，Transform/Load落在另一个机房的Node)

b.node节点可以有failover/loadBalancer.(每个机房的Node节点，都可以是集群，一台或者多台机器)

QuickStart

Seethepageforquickstart:QuickStart.

AdminGuide

Seethepageforadmindeployguide:AdminGuide

一、前奏...
2

二、Manager网站安装...
3

环境准备...
3

1.
otter数据库初始化...3

2.
zookeeper安装...3

manager启动步骤...
4

三、Node安装...
5

环境准备...
5

1.生成nid.
5

node启动步骤...
7

四、附加章节—添加一个从商品库到分销库的数据同步。...
8

场景分析...
9

1.
创建基础业务表...9

2.
业务数据备份...9

3.
创建canal10

4.
创建数据源（添加表映射用到）...11

5.
添加源库的表和目的库的表...11

6.
新建同步通道channel.12

7.
新建一个pipeline.13

8.
新建表映射...14

9.
检查是否生效.(pipeline对应的日志)15

一、前奏

本安装步骤是根据目前测试环境已经搭建好的otter部署情况为场景，说明如何安装一个otter环境，生产环境的安装可以此文档为蓝本，做相应的配置修改。文档中所有的截图和配置文件所显示的内容信息都可以从机子上找到。大致部署情况如下：
10.0.30.190：manager、node
10.0.30.201：manager站点所依赖的mysql数据库
10.0.30.188:部署zookeeper。

Ps:188机子上也安装了一个node，主要是为集群做准备的，文档中所提到的node安装步骤以安装在190机子上的node为说明对象，集群中其它机器上node的安装步骤类似。

二、Manager网站安装

环境准备

otter的环境需要mysql，jdk,zookeeper,node,manager

1.otter数据库初始化

ottermanager依赖于mysql进行配置信息的存储，所以需要预先安装mysql，并初始化ottermanager所需的系统库和表。

登录201的机子，执行source命令导入sql脚本文件：

sourceotter-manager-schema.sql
执行showdatabases可以看到脚本创建了一个名字叫otter的数据库

2.zookeeper安装

安装一个zookeeper到188机子（整个otter架构依赖了zookeeper进行多节点调度，所以需要预先安装zookeeper）

manager启动步骤

1.在190机子上解压缩manager的安装包

mkdir/usr/ottermanager

tarzxvfmanager.deployer-4.2.7.tar.gz/usr/ottermanager

2.修改namager的配置文件信息（/conf/otter.properties）

注：只需要修改标红色的配置

##ottermanager网站域名地址#修改为正确访问ip，生成URL使用

otter.domainName=10.0.30.190

##ottermanager的web管理后台端口

otter.port=8085

##jettywebconfigxml

otter.jetty=jetty.xml

##ottermanager所依赖的数据库配置，修改为正确数据库信息

otter.database.driver.class.name=com.mysql.jdbc.Driver

otter.database.driver.url=jdbc:mysql://10.0.30.201:3306/otter

otter.database.driver.username=belle#用户名和密码请DBA配合授权

otter.database.driver.password=belle@belle

##ottercommunicationport（manager和node通讯端口，保留默认1099）

otter.communication.manager.port=1099

##ottercommunicationpoolsize

otter.communication.pool.size=10

##manager依赖的zookeeper地址

otter.zookeeper.cluster.default=10.0.30.188:2181

##defaultzookeepersesstiontimeout=90s

otter.zookeeper.sessionTimeout=90000

##otterarbitrateconnectmanagerconfig

otter.manager.address=${otter.domainName}:${otter.communication.manager.port}

3.准备启动

进入安装目录/bin/下，输入：shstartup.sh启动managerweb网站。

4.查看日志

vilogs/manager.log

出现类似日志，代表启动成功：

2013-08-1413:19:45.911[]WARNcom.alibaba.otter.manager.deployer.JettyEmbedServer-##JettyEmbedServerisstartup!

2013-08-1413:19:45.911[]WARNcom.alibaba.otter.manager.deployer.OtterManagerLauncher-##themanagerserverisrunningnow......

5.验证

访问：http://10.0.30.190:8085/(详细地址根据步骤2的配置信息)，出现otter的页面，即代表启动成功

初始密码为：admin/admin，即可完成登录.目前：匿名用户只有只读查看的权限，登录为管理员才可以有操作权限
6.关闭

shstop.sh

三、Node
安装

环境准备

otternode会受ottermanager进行管理，所以需要预先安装ottermanager，参见：Manager网站安装

1.生成nid

完成manager安装后，需要在manager页面为node定义配置信息，并生一个唯一id.

a.首先访问managerweb页面”机器管理”菜单，选择“zookeeper管理”子菜单，点击页面“添加”按钮以注册一个zookeeper。

b.从”node管理”菜单中选择添加node按钮，往manager注册一个node节点信息。

几点说明：
·机器名称：可以随意定义，方便自己记忆即可
·机器ip：对应node节点将要部署的机器ip，如果有多ip时，可选择其中一个ip进行暴露.(此ip是整个集群通讯的入口，实际情况千万别使用127.0.0.1，否则多个机器的node节点会无法识别)
·机器端口：对应node节点将要部署时启动的数据通讯端口，建议值：2088
·下载端口：对应node节点将要部署时启动的数据下载端口，建议值：9090
·外部ip：对应node节点将要部署的机器ip，存在的一个外部ip，允许通讯的时候走公网处理。
·zookeeper集群：为提升通讯效率，不同机房的机器可选择就近的zookeeper集群.
·机器添加完成后，跳转到机器列表页面，获取对应的机器序号nid

·通过这两部操作，获取到了node节点对应的唯一标示，称之为nodeid，简称：nid.记录该nid，后续启动nid时会使用

node启动步骤

1．解压缩node安装包node.deployer-4.2.7.tar.gz

mkdir/usr/ottermanager/nodedeveloper(为方便管理，直接安装在manager目录下)

tarzxvfnode.deployer-4.2.7.tar.gz/usr/ottermanager/nodedeveloper

2．修改配置

a.nid配置(将环境准备中添加机器后获取到的序号，保存到conf目录下的nid

文件，比如我添加的机器对应序号为1)

echo1>conf/nid

b.otter.properties配置修改

打开文件/usr/ottermanager/nodedeveloper/conf/otter.properties

Vi/usr/ottermanager/nodedeveloper/conf/otter.properties，修改如下内容：

##修改为正确的manager服务地址
otter.manager.address=10.0.30.190:1099
3．启动node

进入/usr/ottermanager/nodedeveloper/bin。

输入命令：shstartup.sh

4．查看日志

打开日志：vi/usr/ottermanager/nodedeveloper/logs/node/node.log

看到如下日志，代表node启动完成:

2013-08-1415:42:16.886[main]INFOcom.alibaba.otter.node.deployer.OtterLauncher-INFO##theotterserverisrunningnow......
5．验证

访问：http://10.0.30.190:8085/node_list.htm，查看对应的节点状态，如果变为了已启动，代表已经正常启动。(ps，如果是未启动，会是一个红色高亮)
6．关闭

shstop.sh

关闭后，可查看下manager页面，检查下节点状态变为“未启动”

四、附加章节—添加一个从商品库到分销库的数据同步。

场景分析

将10.0.30.131机子上yitian_b2c_db库（源库）的tbl_commodity_style表数据同步到dms_db库（目的库）上的tbl_dms_commodity_style表。
由于otter是一个基于binlog的增量日志同步工具，首次同步的时候涉及到历史数据的拷贝，binlog日志位点的设置比较难找。因此对于初始数据的拷贝，采用原始的方法，先在源库创建tbl_dms_commodity_style表，用来临时保存tbl_commodity_style表数据的备份。记录下master的位点信息（作为otter同步任务的初始位置，假设是position1），同时快速备份tbl_commodity_style的数据到tbl_dms_commodity_style。再把临时表tbl_dms_commodity_style的数据恢复到目的库dms_db。
新建的同步任务中引用的canal必须位点设置为position1。如此一来，既能把历史数据导入到目的库的表，又能保证position1后添加的数据能被otter同步到。
具体步骤：

1.创建基础业务表

dms_db库和yitian_b2c_db库分别上执行createtable脚本，两边同时创建tbl_dms_commodity_style表

2.业务数据备份

执行mysql的insertintotbl_dms_commodity_styleselect...语句将源库的tbl_commodity_style数据备份到源库的tbl_dms_commodity_style表。同时快速记录此时masterstatus的位点信息，假设为position1。此步骤很重要，要确保及时性，防止出现以下两种情况导致的数据不一致性：
a．先记录位点信息，再备份数据，此时有可能中间数据库执行了inser/update/delete语句。后期同步任务启动的时候，会重复执行了这些语句，有风险。（可选）
b．先备份数据，再记录位点。此时中间插入了数据，由于插入的数据日志位点在我们记录的位点之前，那么后期同步任务启动的时候，会丢失数据。
附图，131master状态：

3.创建canal

其中canal的位点信息根据showmasterstatus的信息输入自定义。
a.创建针对131机子masterbinlog的canal。

4.创建数据源（添加表映射用到）

5.添加源库的表和目的库的表

源库的表

目的库表

添加完毕之后从列表中可以看到：

6.新建同步通道channel.

同步一致性选择基于当前日志变更，同步模式选择“行记录模式”，不开启数据一致性。

创建完毕后可以看到

7.新建一个pipeline.

点击“131-131”进入该channel所属的Pipeline管理页面。

新建pipeline：

点击“保存”后在pipeline管理页面看到新建的记录

点击“pipline131”添加表映射：

8.新建表映射

选完表后点击下一步看到源库表和目的库表的字段

分别从源库和目的库选择需要同步的字段，点击按钮，如上选择了id和supplier_code，注意两边需要同步的字段一一对应。选完后直接保存。

表映射创建完毕，回到pipeline管理页面。可以看到

由此，一个同步任务创建完毕了，我们回到channel页面，可以点击“启用”开始同步任务了。

9.检查是否生效.(pipeline对应的日志)

每个同步任务的pipeline都可以从菜单上看到“吞吐量“，”延迟时间“，”同步进度“，”历史吞吐量“，”日志记录“具体用法待续。

ps:channel和pipline的概念参考：https://github.com/alibaba/otter/wiki/Introduction

单向同步中每个channel只能有一个pipeline,双向同步每个channel有两个pipeline，目前我们的同步是单向的。每一个canal也只能提供给一个pipeline.所以如果我们要创建新的同步任务的话，如商品库到无线的数据同步，需新建canal.

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航

mysql数据库双机同步开源软件otter

项目背景

目前同步规模：

项目介绍

工作原理

什么是canal?

otter能解决什么？

单机房复制示意图：

跨机房复制示意图：

相关名词解释

otter核心model关系图

名词解释

otter的S/E/T/L
stage阶段模型

相关实现介绍

QuickStart

AdminGuide

目录

一、前奏

二、Manager网站安装

环境准备

1.otter数据库初始化

2.zookeeper安装

manager启动步骤

三、Node
安装

环境准备

otternode会受ottermanager进行管理，所以需要预先安装ottermanager，参见：Manager网站安装

1.生成nid

node启动步骤

四、附加章节—添加一个从商品库到分销库的数据同步。

场景分析

1.创建基础业务表

2.业务数据备份

3.创建canal

4.创建数据源（添加表映射用到）

5.添加源库的表和目的库的表

6.新建同步通道channel.

7.新建一个pipeline.

8.新建表映射

9.检查是否生效.(pipeline对应的日志)

mysql数据库双机同步开源软件otter

项目背景

目前同步规模：

项目介绍

工作原理

什么是canal?

otter能解决什么？

单机房复制示意图：

跨机房复制示意图：

相关名词解释

otter核心model关系图

名词解释

otter的S/E/T/Lstage阶段模型

相关实现介绍

QuickStart

AdminGuide

目录

一、前奏

二、Manager网站安装

环境准备

1.otter数据库初始化

2.zookeeper安装

manager启动步骤

三、Node安装

环境准备

otternode会受ottermanager进行管理，所以需要预先安装ottermanager，参见：Manager网站安装

1.生成nid

node启动步骤

四、附加章节—添加一个从商品库到分销库的数据同步。

场景分析

1.创建基础业务表

2.业务数据备份

3.创建canal

4.创建数据源（添加表映射用到）

5.添加源库的表和目的库的表

6.新建同步通道channel.

7.新建一个pipeline.

8.新建表映射

9.检查是否生效.(pipeline对应的日志)

otter的S/E/T/L
stage阶段模型

三、Node
安装