SymmetricDS 完全配置安装手册
2016-07-12 18:04
447 查看
概述
SymmetricDS 是一个基于 Java 的数据库同步框架。本文并不打算带你熟悉 SymmetricDS 的实现原理,只是从安装与配置入手,让你感受一下 SymmetricDS 运行效果。如果你的系统中是干净(空白)的,那么你需要做的事情就比较多了。本文希望尽可能全面且细致地讲解配置过程,而不至于你按照本文的教程安装,出现无法使用的情况。如果真的有这样的情况产生,你可以在下面进行留言。以下是我在安装环境时配置的一些记录,希望于你有益。版权说明
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
本文作者:Q-WHai
发表日期: 2016年7月12日
本文链接:http://blog.csdn.net/lemon_tree12138/article/details/51891291
来源:CSDN
更多内容:分类 >> 数据库
我的环境
CentOS release 6.5 (Final)java version “1.8.0_92”
mysql Ver 14.14 Distrib 5.1.73, for redhat-linux-gnu (x86_64) using readline 5.1
OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013
symmetric-server-3.7.34
相关配置
安装配置 JDK
这里需要你的 JDK 版本为 jdk1.6 以上,关于 JDK 的安装和配置这里就不多说了,网上一大堆。防火墙
此处为测试环境,故设置了关闭防火墙$ sudo service iptables stop $ sudo chkconfig iptables off # 设置防火墙不随系统启动,这一条你可以选择性添加
SSH 免密码登录
关于 SSH 的免密码登录在这里不是很重要,只是本人在下发文件的时候用到了。你可以选择性配置。配置过程可参见本人另一篇博客《Hadoop 2.2.0 集群搭建》
创建 MySQL 新用户
这里为了避免使用 root 帐户,所以创建了新的数据库操作用户:symmetric首先使用 root 帐户登录 MySQL,并执行如下 SQL 语句:
mysql> INSERT INTO mysql.user(HOST,USER,PASSWORD) values("localhost","symmetric",password("123456")); mysql> FLUSH privileges;
上面的 SQL 语句可以让你有一个 symmetric 的MySQL 用户,可是这个用户在很多地方都没有操作权限。这里需要修改某些操作的权限:
mysql> UPDATE mysql.user SET Select_priv='Y',Insert_priv='Y',Update_priv='Y',Delete_priv='Y',Create_priv='Y', Drop_priv='Y',Reload_priv='Y',Shutdown_priv='Y',Process_priv='Y',File_priv='Y', Grant_priv='Y',References_priv='Y',Index_priv='Y',Alter_priv='Y',Show_db_priv='Y', Super_priv='Y',Create_tmp_table_priv='Y',Lock_tables_priv='Y',Execute_priv='Y',Repl_slave_priv='Y', Repl_client_priv='Y',Create_view_priv='Y',Show_view_priv='Y',Create_routine_priv='Y',Alter_routine_priv='Y', Create_user_priv='Y',Event_priv='Y',Trigger_priv='Y' WHERE USER="symmetric" AND HOST="localhost"; mysql> FLUSH privileges;
配置 MySQL 驱动
在 Java 中,如果需要连接 MySQL 数据库,需要使用 JDBC 的数据库连接技术。在使用 JDBC 的时候比较容易忽略的就是连接驱动的配置了。这一点在 Windows 下还好,不过要在 Linux 下使用 JDBC 就需要配置 MySQL 的驱动程序了。
1. 首先上传 MySQL 的驱动 jar 包 mysql-connector-java-5.1.6-bin.jar 到 Linux 的合适位置
2. 配置环境变量
$ sudo vim /etc/profile
在文件末尾处添加如下内容:
export CLASSPATH=${CLASSPATH}:/home/hadoop/libs/mysql-connector-java-5.1.6-bin.jar
设置配置立即生效
$ source /etc/profile
SymmetricDS
首先上传 symmetric-server-3.7.34 到 master 节点自定义的一个目录下,再重命名移动到用户根目录。$ mv symmetric-server-3.7.34/ ~/symmetric
然后再下发此文件夹:
$ scp -r ~/symmetric/ slave:~/symmetric/
配置 corp
这里的 corp 也就是我的 master 节点。复制 symmetric 目录下的 samples/corp-000.properties 文件到 engines 目录下:
$ cp samples/corp-000.properties engines/
并修改此文件内容
$ vim engines/corp-000.properties
修改后的内容如下:
engine.name=corp-000 db.driver=com.mysql.jdbc.Driver db.url=jdbc:mysql://master/sample db.user=symmetric db.password=123456 registration.url= sync.url=http://master:8080/sync/corp-000 group.id=corp external.id=000 job.purge.period.time.ms=7200000 job.routing.period.time.ms=5000 job.push.period.time.ms=10000 job.pull.period.time.ms=10000 initial.load.create.first=true
这里我只保留了实际的内容,不包含注释。
配置 store
这里的 store 也就是我的 slave 节点。复制 symmetric 目录下的 samples/store-001.properties 文件到 engines 目录下:
$ cp samples/store-001.properties engines/
并修改此文件内容
$ vim engines/store-001.properties
修改后的内容如下:
engine.name=store-001 db.driver=com.mysql.jdbc.Driver db.url=jdbc:mysql://slave/sample db.user=symmetric db.password=123456 registration.url=http://master:8080/sync/corp-000 group.id=store external.id=001 job.routing.period.time.ms=5000 job.push.period.time.ms=10000 job.pull.period.time.ms=10000
配置文件可执行
在默认的情况下,symmetric/bin 目录下的文件没有执行权限,所以这里我们要为这些文件添加可执行权限:$ chmod 755 bin/*
创建数据库
$ mysql -usymmetric -p123456
mysql> create database sample;
创建数据表
自动化创建
在 symmetric 中默认已经给出了自动化的数据创建过程,不过这种自动化的创建有一些不足的地方,那就是数据不够完整。这样就会致使在后面自动化插入数据时出现找不到数据表的情况,所以这里我比较推荐你使用下面手动创建的方式。自动化的创建方式只作为参考:创建指令
$ ./bin/symadmin --engine corp-000 create-sym-tables
创建结果
mysql> show tables; +-----------------------------+ | Tables_in_sample | +-----------------------------+ | sym_channel | | sym_conflict | | sym_data | | sym_data_event | | sym_data_gap | | sym_extension | | sym_extract_request | | sym_file_incoming | | sym_file_snapshot | | sym_file_trigger | | sym_file_trigger_router | | sym_grouplet | | sym_grouplet_link | | sym_incoming_batch | | sym_incoming_error | | sym_load_filter | | sym_lock | | sym_node | | sym_node_channel_ctl | | sym_node_communication | | sym_node_group | | sym_node_group_channel_wnd | | sym_node_group_link | | sym_node_host | | sym_node_host_channel_stats | | sym_node_host_job_stats | | sym_node_host_stats | | sym_node_identity | | sym_node_security | | sym_outgoing_batch | | sym_parameter | | sym_registration_redirect | | sym_registration_request | | sym_router | | sym_sequence | | sym_table_reload_request | | sym_transform_column | | sym_transform_table | | sym_trigger | | sym_trigger_hist | | sym_trigger_router | | sym_trigger_router_grouplet | +-----------------------------+ 42 rows in set (0.00 sec)
手动创建
手动创建虽然比较繁琐,但是数据比较完整,整个过程也很顺利。SQL
itemCREATE TABLE item( item_id INTEGER PRIMARY KEY, name VARCHAR(100) );
item_selling_price
CREATE TABLE item_selling_price( item_id INTEGER REFERENCES item(item_id), store_id VARCHAR(5), price DECIMAL(10,2), cost DECIMAL(10,2), PRIMARY KEY(item_id, store_id) );
sale_transaction
CREATE TABLE sale_transaction( tran_id INTEGER PRIMARY KEY, store_id VARCHAR(5) NOT NULL, workstation VARCHAR(3) NOT NULL, day VARCHAR(10) NOT NULL, seq INTEGER NOT NULL );
sale_return_line_item
CREATE TABLE sale_return_line_item( tran_id INTEGER PRIMARY KEY REFERENCES sale_transaction(tran_id), item_id INTEGER NOT NULL REFERENCES item(item_id), price DECIMAL(10,2) NOT NULL, quantity INTEGER NOT NULL, returned_quantity INTEGER );
于是创建了如下 4 张数据表:
mysql> show tables; +-----------------------+ | Tables_in_sample | +-----------------------+ | item | | item_selling_price | | sale_return_line_item | | sale_transaction | +-----------------------+
修改 HOST
由于之前的配置文件中设置了 HOST 为 master,所以这里需要修改用户 symmetric 的 HOST。mysql> UPDATE user SET HOST='%' WHERE user='symmetric'; mysql> FLUSH privileges;
生成分销系统表
在 symmetric 中默认已经给出了自动化生成分销系统表的方式,只要一句指令即可:指令
$ ./bin/symadmin --engine corp-000 create-sym-tables
检查结果
查看 MySQL 中的数据表
mysql> show tables; +-----------------------------+ | Tables_in_sample | +-----------------------------+ | item | | item_selling_price | | sale_return_line_item | | sale_transaction | | sym_channel | | sym_conflict | | sym_data | | sym_data_event | | sym_data_gap | | sym_extension | | sym_extract_request | | sym_file_incoming | | sym_file_snapshot | | sym_file_trigger | | sym_file_trigger_router | | sym_grouplet | | sym_grouplet_link | | sym_incoming_batch | | sym_incoming_error | | sym_load_filter | | sym_lock | | sym_node | | sym_node_channel_ctl | | sym_node_communication | | sym_node_group | | sym_node_group_channel_wnd | | sym_node_group_link | | sym_node_host | | sym_node_host_channel_stats | | sym_node_host_job_stats | | sym_node_host_stats | | sym_node_identity | | sym_node_security | | sym_outgoing_batch | | sym_parameter | | sym_registration_redirect | | sym_registration_request | | sym_router | | sym_sequence | | sym_table_reload_request | | sym_transform_column | | sym_transform_table | | sym_trigger | | sym_trigger_hist | | sym_trigger_router | | sym_trigger_router_grouplet | +-----------------------------+ 46 rows in set (0.00 sec)
填充数据
虽然上面说了一堆东西,但是还只是一堆空的数据表,如下我们就把 symmetric 自带的数据填充到数据表中。操作过程如下:指令
$ ./bin/dbimport --engine corp-000 ./samples/insert_sample.sql
结果检查
mysql> select * from item_selling_price; +----------+----------+-------+------+ | item_id | store_id | price | cost | +----------+----------+-------+------+ | 11000001 | 001 | 0.20 | 0.10 | | 11000001 | 002 | 0.30 | 0.20 | +----------+----------+-------+------+ 2 rows in set (0.00 sec)
启动 SymmetricDS
因为这里是两个节点之间的数据同步,所以我们需要启动两个节点:corp 和 storestart corp node
corp 设置开启的端口为 8080
$ ./bin/sym --engine corp-000 --port 8080
start store node
store 设置开启的端口为 9090
$ ./bin/sym --engine store-001 --port 9090
上面两个窗口的启动之后,会进入等待状态,所以如果有其他操作,就需要另外打开窗口了。
注册节点
这里还有一步需要处理就是注册节点,注册操作在 corp 和 store 启动之后进行。$ ./bin/symadmin --engine corp-000 open-registration store 001
Log output will be written to /home/hadoop/symmetric/logs/symmetric.log [] - AbstractCommandLauncher - Option: name=engine, value={corp-000} [corp-000] - JdbcDatabasePlatformFactory - Detected database 'MySQL', version '5', protocol 'mysql' [corp-000] - JdbcDatabasePlatformFactory - The IDatabasePlatform being used is org.jumpmind.db.platform.mysql.MySqlDatabasePlatform [corp-000] - MySqlSymmetricDialect - The DbDialect being used is org.jumpmind.symmetric.db.mysql.MySqlSymmetricDialect [corp-000] - ExtensionService - Found 0 extension points from the database that will be registered [corp-000] - StagingManager - The staging directory was initialized at the following location: /home/hadoop/symmetric/tmp/corp-000 [corp-000] - ClusterService - This node picked a server id of master [corp-000] - ExtensionService - Found 0 extension points from the database that will be registered [corp-000] - ClientExtensionService - Found 9 extension points from spring that will be registered [corp-000] - RegistrationService - Registration was reopened for 001 Opened registration for node group of 'store' external ID of '001'
发送初始负载
发送初始负载的目的是将最开始的时候 corp 节点数据表中的数据同步到 store 节点中。如果你开始的数据表中没有这些数据,那么就可以不用发送此负载了。指令
$ ./bin/symadmin --engine corp-000 reload-node 001
结果
Log output will be written to /home/hadoop/symmetric/logs/symmetric.log [] - AbstractCommandLauncher - Option: name=engine, value={corp-000} [corp-000] - JdbcDatabasePlatformFactory - Detected database 'MySQL', version '5', protocol 'mysql' [corp-000] - JdbcDatabasePlatformFactory - The IDatabasePlatform being used is org.jumpmind.db.platform.mysql.MySqlDatabasePlatform [corp-000] - MySqlSymmetricDialect - The DbDialect being used is org.jumpmind.symmetric.db.mysql.MySqlSymmetricDialect [corp-000] - ExtensionService - Found 0 extension points from the database that will be registered [corp-000] - StagingManager - The staging directory was initialized at the following location: /home/hadoop/symmetric/tmp/corp-000 [corp-000] - ClusterService - This node picked a server id of master [corp-000] - ExtensionService - Found 0 extension points from the database that will be registered [corp-000] - ClientExtensionService - Found 9 extension points from spring that will be registered Successfully enabled initial load for node 001
测试验证
这里的验证为在 corp(即 master) 节点上修改一条数据,观察两个节点中数据表的变化。在 corp 节点的数据库中执行相应 SQL 语句:
更新
mysql> UPDATE item_selling_price SET price='0.21' WHERE item_id='11000001' AND store_id='001';
corp
mysql> select * from item_selling_price; +----------+----------+-------+------+ | item_id | store_id | price | cost | +----------+----------+-------+------+ | 11000001 | 001 | 0.21 | 0.10 | | 11000001 | 002 | 0.30 | 0.20 | +----------+----------+-------+------+ 2 rows in set (0.00 sec)
store
mysql> select * from item_selling_price; +----------+----------+-------+------+ | item_id | store_id | price | cost | +----------+----------+-------+------+ | 11000001 | 001 | 0.21 | 0.10 | +----------+----------+-------+------+ 1 row in set (0.00 sec)
插入
注意这里不要只添加一条记录,因为涉及到了数据库的触发器,我们虚拟了一条交易记录,如下:mysql> INSERT INTO item (item_id, name) VALUES (110000055, 'Soft Drink'); mysql> INSERT INTO item_selling_price (item_id, store_id, price) VALUES (110000055, '001', 0.65); mysql> INSERT INTO item_selling_price (item_id, store_id, price) VALUES (110000055, '002', 1.00);
当一条交易被完成之后,我们再去检查一下 store 节点中的数据信息:
mysql> select * from item_selling_price;
+-----------+----------+-------+------+ | item_id | store_id | price | cost | +-----------+----------+-------+------+ | 11000001 | 001 | 0.22 | 0.10 | | 110000055 | 001 | 0.65 | NULL | +-----------+----------+-------+------+ 2 rows in set (0.00 sec)
mysql> select * from item;
+-----------+------------+ | item_id | name | +-----------+------------+ | 11000001 | Yummy Gum | | 110000055 | Soft Drink | +-----------+------------+ 2 rows in set (0.00 sec)
数据的确是有增加的,验证完成。
Ref
http://blog.csdn.net/xichenguan/article/details/41720861相关文章推荐
- 问题--用户不能被关注
- App服务端架构变迁
- Maven将java工程打成tar包
- Mac版Android Studio Git 的配置以及提交到仓库
- Android ApplicationId 与 PackageName
- bean的加载(十)属性注入
- MYSQL explain详解
- wireshark基本用法及过虑规则
- [JS实例] 跟随鼠标移动而发生视差动画的图片
- ListView的水平滑动
- Cognos API Connection
- ATOM基础教程一sync-settings配置(11)
- javascript类型系统——日期Date对象
- 二叉查找树
- synchronized关键字详解
- Android 存储方式之SharedPreference SQLite ContentProvider
- 表格行的css交替
- ROS中robot_pose_ekf包的使用
- spark 读取hbase数据并转化为dataFrame
- XPath路径表达式