基于MyCat的按日期分片集群性能测试

# 创建MyCat配置文件,主要包括rule.xml和schema.xml
rule.xml中加入

<tableRule name="sharding-by-date">
<rule>
<columns>CREATE_TIME</columns>
<algorithm>sharding-by-date</algorithm>
</rule>
</tableRule>
<function name="sharding-by-date" class="io.mycat.route.function.PartitionByDate">
<property name="dateFormat">yyyy-MM-dd</property> <!--日期格式-->
<property name="sBeginDate">2017-06-01</property>            <!--开始日期-->
<property name="sEndDate">2017-06-15</property>
<property name="sPartionDay">1</property>  <!--每分片天数-->
</function>

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<!-- auto sharding by id (long) -->
<table name="log" dataNode="dn11,dn12,dn13,dn14,dn15,dn21,dn22,dn23,dn24,dn25,dn31,dn32,dn33,dn34,dn35" rule="sharding-by-date"/>
<table name="mac" primaryKey="mac" type="global" dataNode="dn11" />
</schema>

<dataNode name="dn11" dataHost="host1" database="db1" />
<dataNode name="dn12" dataHost="host1" database="db2" />
<dataNode name="dn13" dataHost="host1" database="db3" />
<dataNode name="dn14" dataHost="host1" database="db4" />
<dataNode name="dn15" dataHost="host1" database="db5" />
<dataNode name="dn21" dataHost="host2" database="db1" />
<dataNode name="dn22" dataHost="host2" database="db2" />
<dataNode name="dn23" dataHost="host2" database="db3" />
<dataNode name="dn24" dataHost="host2" database="db4" />
<dataNode name="dn25" dataHost="host2" database="db5" />
<dataNode name="dn31" dataHost="host3" database="db1" />
<dataNode name="dn32" dataHost="host3" database="db2" />
<dataNode name="dn33" dataHost="host3" database="db3" />
<dataNode name="dn34" dataHost="host3" database="db4" />
<dataNode name="dn35" dataHost="host3" database="db5" />

<dataHost name="host1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="host1" url="10.10.10.221:3307" user="root" password="root"></writeHost>
</dataHost>

<dataHost name="host2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="host2" url="10.10.10.222:3307" user="root" password="root"></writeHost>
</dataHost>
<dataHost name="host3" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="host3" url="10.10.10.223:3307" user="root" password="root"></writeHost>
</dataHost>
</mycat:schema>

# 创建所需服务和数据库
参见 使用Docker部署基于MyCat的MySql https://internal-confluence.ssgm.net/pages/viewpage.action?pageId=1736724 注意,要在3台服务器上各创建一个服务,每个服务内建立5个数据库,与上一步中的配置相对应

# 创建所需表
连接MyCat的服务,创建表;其中,log为数据表,mac中保存几百条mac记录,用以批量生成测试数据

DROP TABLE IF EXISTS `log`;
CREATE TABLE `log` (
`id` varchar(36) NOT NULL,
`mac` varchar(17) DEFAULT '',
`CREATE_TIME` datetime NOT NULL,
`terminal_field_strength` varchar(8) DEFAULT '',
`ssid_position` varchar(256) DEFAULT '',
`access_ap_mac` varchar(17) DEFAULT '',
`access_ap_channel` varchar(6) DEFAULT '',
`access_ap_encryption_type` varchar(2) DEFAULT '',
`x_coordinate` varchar(8) DEFAULT '',
`y_coordinate` varchar(8) DEFAULT '',
`netbar_wacode` varchar(14) DEFAULT '',
`collection_equipment_id` varchar(21) DEFAULT '',
`collection_equipment_longitude` varchar(15) DEFAULT '',
`collection_equipment_latitude` varchar(15) DEFAULT '',
`security_software_orgcode` varchar(10) DEFAULT '',
KEY `index_time_mac` (`CREATE_TIME`,`mac`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `mac`;
CREATE TABLE `mac` (
`mac` varchar(255) CHARACTER SET utf8 DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

# 创建测试数据
由于需要大量的测试数据,因此我们通过辅助表mac和存储过程来批量插入数据
单独连接每台服务器上的MySQL进程,依次切换到db1-db5,导入mac.sql文件,并创建相应的存储过程
注意,存储过程创建时要针对当前数据库修改参数值,让指定数据库插入指定日期的数据,否则会导致MyCat查询不到
创建完存储过程后,依次在每个库上执行 call bat();每个库会插入390万条记录

CREATE PROCEDURE bat()
BEGIN
DECLARE v_start datetime DEFAULT STR_TO_DATE('2017-06-01','%Y-%m-%d');  -- 这里的日期要修改,规则为 第一台服务器db1 2017-06-01,db2 2017-06-02,...,第2台服务器 db1 2017-06-06 ....
DECLARE v_sec INT DEFAULT 0;
DECLARE v_step INT DEFAULT 3;
DECLARE v_size INT DEFAULT 13000;		-- mac有300条记录,插入13000次,总计390万左右记录

WHILE v_sec<v_size DO
SET v_sec=v_sec+v_step;
INSERT INTO log(`id`, `mac`, `CREATE_TIME`, `terminal_field_strength`,  `netbar_wacode`, `collection_equipment_id`, `collection_equipment_longitude`, `collection_equipment_latitude`, `security_software_orgcode`)
SELECT uuid(),mac,DATE_ADD(v_start,INTERVAL v_sec SECOND),'-96','3712032E000001', '7855129960034CB64CBAE', '117.849381', '36.08163', '785512996' FROM mac ;
END WHILE;
END ;

# 测试
连接单独的数据库可以测试单数据库的效率,连接MyCat服务可以测试集群效率

# 测试结果及总结说明
 
为处理大数据量情况下数据库查询缓慢的问题,搭建MyCat分片集群,以提高查询性能
基本测试情况参见文件MyCat测试.xlsx
大数据量查询的时候,需要进行分页操作,而此时进行的查询主要有两个:
1.查询具体数据
2.统计所有记录数,用于前端生成页码
其中,主要有以下问题:
前提:数据量大7000万左右,单库单表,使用表内分区
1.
a.当建立合适的索引时,并限定合适的查询条件,查询单页几十条数据且跳过的记录数不是很多时,查询时间仍在100毫秒以内,因此性能不是问题
b.当a中,跳过的记录比较多时,如1500万,耗时大概在11秒左右,已经不可接受
2.
count()函数是最耗时的地方.概括说来,单库情况下,每秒大概可以统计220万左右记录,在使用了MyCat中间件后,性能降为150万左右/秒,
整体来看,三台服务器,每台上面跑5个MySql进程,count()的性能达到1139万/秒,为单进程的5倍左右;
从现象来看,MyCat的查询性能受限于数据量最大,耗时最长的分片,因此应该限制单个分片数据量大小

总结:
使用MyCat,可以做到根据日期进行分片;
要想查询保持在三四秒左右,每个分片的数据量应保持在最大五六百万左右
以上测试基于4G内存,每台计算机上启动5个MySql进程,没有对MySql进行参数调整的情况下,
理论上猜想,通过增加机器配置,增加实体机数量,以及通过参数调优,还可以有效提高数据库性能
另外,此次测试没有使用merge分区表,猜想如果单库以日期分,库内表以小时进行分区,在精确时间查询的时候应该还会有效提高查询效率
 
索引策略:
表结构:mac,enter_time,update_time
写库:(mac,update_time) 插入新数据时,如果库里有相同mac,ap的n分钟内的记录,直接更新该记录的update_time,否则插入新的记录
读库:依照具体查询来定,例如(phone,enter_time),(mac,enter_time),(enter_time)

# 创建MyCat配置文件,主要包括rule.xml和schema.xml
rule.xml中加入

<tableRule name="sharding-by-date">
<rule>
<columns>CREATE_TIME</columns>
<algorithm>sharding-by-date</algorithm>
</rule>
</tableRule>
<function name="sharding-by-date" class="io.mycat.route.function.PartitionByDate">
<property name="dateFormat">yyyy-MM-dd</property> <!--日期格式-->
<property name="sBeginDate">2017-06-01</property>            <!--开始日期-->
<property name="sEndDate">2017-06-15</property>
<property name="sPartionDay">1</property>  <!--每分片天数-->
</function>

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<!-- auto sharding by id (long) -->
<table name="log" dataNode="dn11,dn12,dn13,dn14,dn15,dn21,dn22,dn23,dn24,dn25,dn31,dn32,dn33,dn34,dn35" rule="sharding-by-date"/>
<table name="mac" primaryKey="mac" type="global" dataNode="dn11" />
</schema>

<dataNode name="dn11" dataHost="host1" database="db1" />
<dataNode name="dn12" dataHost="host1" database="db2" />
<dataNode name="dn13" dataHost="host1" database="db3" />
<dataNode name="dn14" dataHost="host1" database="db4" />
<dataNode name="dn15" dataHost="host1" database="db5" />
<dataNode name="dn21" dataHost="host2" database="db1" />
<dataNode name="dn22" dataHost="host2" database="db2" />
<dataNode name="dn23" dataHost="host2" database="db3" />
<dataNode name="dn24" dataHost="host2" database="db4" />
<dataNode name="dn25" dataHost="host2" database="db5" />
<dataNode name="dn31" dataHost="host3" database="db1" />
<dataNode name="dn32" dataHost="host3" database="db2" />
<dataNode name="dn33" dataHost="host3" database="db3" />
<dataNode name="dn34" dataHost="host3" database="db4" />
<dataNode name="dn35" dataHost="host3" database="db5" />

<dataHost name="host1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="host1" url="10.10.10.221:3307" user="root" password="root"></writeHost>
</dataHost>

<dataHost name="host2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="host2" url="10.10.10.222:3307" user="root" password="root"></writeHost>
</dataHost>
<dataHost name="host3" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="host3" url="10.10.10.223:3307" user="root" password="root"></writeHost>
</dataHost>
</mycat:schema>

# 创建所需服务和数据库
参见 使用Docker部署基于MyCat的MySql https://internal-confluence.ssgm.net/pages/viewpage.action?pageId=1736724 注意,要在3台服务器上各创建一个服务,每个服务内建立5个数据库,与上一步中的配置相对应

# 创建所需表
连接MyCat的服务,创建表;其中,log为数据表,mac中保存几百条mac记录,用以批量生成测试数据

DROP TABLE IF EXISTS `log`;
CREATE TABLE `log` (
`id` varchar(36) NOT NULL,
`mac` varchar(17) DEFAULT '',
`CREATE_TIME` datetime NOT NULL,
`terminal_field_strength` varchar(8) DEFAULT '',
`ssid_position` varchar(256) DEFAULT '',
`access_ap_mac` varchar(17) DEFAULT '',
`access_ap_channel` varchar(6) DEFAULT '',
`access_ap_encryption_type` varchar(2) DEFAULT '',
`x_coordinate` varchar(8) DEFAULT '',
`y_coordinate` varchar(8) DEFAULT '',
`netbar_wacode` varchar(14) DEFAULT '',
`collection_equipment_id` varchar(21) DEFAULT '',
`collection_equipment_longitude` varchar(15) DEFAULT '',
`collection_equipment_latitude` varchar(15) DEFAULT '',
`security_software_orgcode` varchar(10) DEFAULT '',
KEY `index_time_mac` (`CREATE_TIME`,`mac`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

DROP TABLE IF EXISTS `mac`;
CREATE TABLE `mac` (
`mac` varchar(255) CHARACTER SET utf8 DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

# 创建测试数据
由于需要大量的测试数据,因此我们通过辅助表mac和存储过程来批量插入数据
单独连接每台服务器上的MySQL进程,依次切换到db1-db5,导入mac.sql文件,并创建相应的存储过程
注意,存储过程创建时要针对当前数据库修改参数值,让指定数据库插入指定日期的数据,否则会导致MyCat查询不到
创建完存储过程后,依次在每个库上执行 call bat();每个库会插入390万条记录

CREATE PROCEDURE bat()
BEGIN
DECLARE v_start datetime DEFAULT STR_TO_DATE('2017-06-01','%Y-%m-%d');  -- 这里的日期要修改,规则为 第一台服务器db1 2017-06-01,db2 2017-06-02,...,第2台服务器 db1 2017-06-06 ....
DECLARE v_sec INT DEFAULT 0;
DECLARE v_step INT DEFAULT 3;
DECLARE v_size INT DEFAULT 13000;		-- mac有300条记录,插入13000次,总计390万左右记录

WHILE v_sec<v_size DO
SET v_sec=v_sec+v_step;
INSERT INTO log(`id`, `mac`, `CREATE_TIME`, `terminal_field_strength`,  `netbar_wacode`, `collection_equipment_id`, `collection_equipment_longitude`, `collection_equipment_latitude`, `security_software_orgcode`)
SELECT uuid(),mac,DATE_ADD(v_start,INTERVAL v_sec SECOND),'-96','3712032E000001', '7855129960034CB64CBAE', '117.849381', '36.08163', '785512996' FROM mac ;
END WHILE;
END ;

# 测试
连接单独的数据库可以测试单数据库的效率,连接MyCat服务可以测试集群效率

# 测试结果及总结说明
 
为处理大数据量情况下数据库查询缓慢的问题,搭建MyCat分片集群,以提高查询性能
基本测试情况参见文件MyCat测试.xlsx
大数据量查询的时候,需要进行分页操作,而此时进行的查询主要有两个:
1.查询具体数据
2.统计所有记录数,用于前端生成页码
其中,主要有以下问题:
前提:数据量大7000万左右,单库单表,使用表内分区
1.
a.当建立合适的索引时,并限定合适的查询条件,查询单页几十条数据且跳过的记录数不是很多时,查询时间仍在100毫秒以内,因此性能不是问题
b.当a中,跳过的记录比较多时,如1500万,耗时大概在11秒左右,已经不可接受
2.
count()函数是最耗时的地方.概括说来,单库情况下,每秒大概可以统计220万左右记录,在使用了MyCat中间件后,性能降为150万左右/秒,
整体来看,三台服务器,每台上面跑5个MySql进程,count()的性能达到1139万/秒,为单进程的5倍左右;
从现象来看,MyCat的查询性能受限于数据量最大,耗时最长的分片,因此应该限制单个分片数据量大小

总结:
使用MyCat,可以做到根据日期进行分片;
要想查询保持在三四秒左右,每个分片的数据量应保持在最大五六百万左右
以上测试基于4G内存,每台计算机上启动5个MySql进程,没有对MySql进行参数调整的情况下,
理论上猜想,通过增加机器配置,增加实体机数量,以及通过参数调优,还可以有效提高数据库性能
另外,此次测试没有使用merge分区表,猜想如果单库以日期分,库内表以小时进行分区,在精确时间查询的时候应该还会有效提高查询效率
 
索引策略:
表结构:mac,enter_time,update_time
写库:(mac,update_time) 插入新数据时,如果库里有相同mac,ap的n分钟内的记录,直接更新该记录的update_time,否则插入新的记录
读库:依照具体查询来定,例如(phone,enter_time),(mac,enter_time),(enter_time)