AntDB支持自定义分区函数,实现数据路由到特定节点
2018-01-23 09:37
771 查看
AntDB支持自定义分区函数,当集群节点确定时,用户可以自定义分区函数,实现特定数据路由到特定的节点。
规则:
1、自定义分区函数的返回值需为整数(smallint, integer, bigint均可)。
2、自定义分区函数的参数需为表的可见字段,一个或者多个字段。
3、分区字段需有非空约束(NOT NULL)。
使用举例:
集群结构:两个coordinator,两个datanode
步骤:
1、自定义函数(注意要满足上面3个规则):
CREATE OR REPLACE FUNCTION mydistributor(id integer, value integer)
RETURNS integer
AS
$$
BEGIN
RETURN ( id + value ) % 2;
END;
$$
LANGUAGE plpgsql
IMMUTABLE
STRICT;
2、创建表,使表根据自定义的函数分布,传入表的可见字段。
CREATE TABLE test(id integer not null, value integer not null) distribute by mydistributor(id, value);
3、插入数据
postgres=# insert into test values(1,2),(2,2),(3,4);
INSERT 0 3
4、验证
datanode0上查询结果如下:
postgres=# select * from test;
id | value
----+-------
2 | 2
(1 row)
datanode1上查询数据如下:
postgres=# select * from test;
id | value
----+-------
1 | 2
3 | 4
(2 rows)
由此可知,id和value相加结果为偶数的数据在节点0上,id和value相加结果为奇数的数据在节点1上,与自定义函数的逻辑一致。
目前,ADB支持hash(column)、modulo(column)、roundrobin、replication、自定义分片五中分片方式。
规则:
1、自定义分区函数的返回值需为整数(smallint, integer, bigint均可)。
2、自定义分区函数的参数需为表的可见字段,一个或者多个字段。
3、分区字段需有非空约束(NOT NULL)。
使用举例:
集群结构:两个coordinator,两个datanode
步骤:
1、自定义函数(注意要满足上面3个规则):
CREATE OR REPLACE FUNCTION mydistributor(id integer, value integer)
RETURNS integer
AS
$$
BEGIN
RETURN ( id + value ) % 2;
END;
$$
LANGUAGE plpgsql
IMMUTABLE
STRICT;
2、创建表,使表根据自定义的函数分布,传入表的可见字段。
CREATE TABLE test(id integer not null, value integer not null) distribute by mydistributor(id, value);
3、插入数据
postgres=# insert into test values(1,2),(2,2),(3,4);
INSERT 0 3
4、验证
datanode0上查询结果如下:
postgres=# select * from test;
id | value
----+-------
2 | 2
(1 row)
datanode1上查询数据如下:
postgres=# select * from test;
id | value
----+-------
1 | 2
3 | 4
(2 rows)
由此可知,id和value相加结果为偶数的数据在节点0上,id和value相加结果为奇数的数据在节点1上,与自定义函数的逻辑一致。
目前,ADB支持hash(column)、modulo(column)、roundrobin、replication、自定义分片五中分片方式。
相关文章推荐
- AntDB支持自定义分区函数,实现数据路由到特定节点
- 自己实现的数据表格控件(dataTable),支持自定义样式和标题数据、ajax等各种自定义设置以及分页自定义
- SQL自定义函数实现字符串截取转化为整型(主要用于对批量数据的操作)
- 关于Partitioner(自定义partitioner编程实现数据自定义分区处理)
- 自定义函数标签:实现前台小数据的获取
- [磁盘数据分析] 实现解析特定分区体系(DOS分区体系)的主引导记录扇区
- 自定义实现spark的分区函数
- 在C++中用虚函数及模版实现委托(支持自定义参数)
- 用matlab实现自定义函数的数据拟合
- golang自定义路由控制实现(二)-流式注册接口以及支持RESTFUL
- 自己实现的数据表格控件(dataTable),支持自定义样式和标题数据、ajax等各种自定义设置以及分页自定义
- 关于数据序列化(4)自定义序列化的实现,支持常用集合框架
- 在C++中用虚函数及模版实现委托(支持自定义参数)(转)
- JavaScript实现二级、多级(N级)联动下拉列表框更新版,支持IE6,FireFox,函数和类两种调用方式,支持到N级,非常通用。
- find_if和函数对象结合实现对自定义类型vector的查找
- JavaScript实现二级、多级(N级)联动下拉列表框更新版,支持IE6,FireFox,函数和类两种调用方式,支持到N级,非常通用。
- 在SQL和ERWIN中用自定义类型、规则和默认值实现check约束从而保证数据的完整性
- 如何自定义一个Remoting中Sink对象实现特定协议上的消息转发
- 自定义数据交换函数
- 在C++中用虚函数及模版实现委托(支持多播)