Greenplum对新增节点扩展Segments实战

一、环境信息：
Greenplum版本号：
Greenplum Version: 'postgres (GreenplumDatabase) 4.3.8.2 build 1'

GP扩展Segment之前的环境信息：
9个节点，其中：
1个Master节点
1个Standby Master节点
7个Segment节点，每个Segment上面有两个Primary实例，两个Mirror实例

二、下面开始介绍在现有Greenplum集群上面新增3个节点来部署Segment。
详细步骤如下
1. 将新增的3个节点的主机名和IP地址加入到原有的Greenplum集群的/etc/hosts文件中，同时拷贝到新增的3个节点中
2. 新增的3个节点的环境配置，包括操作系统参数设置(/etc/sysctl.conf)，磁盘IO调度方式，磁盘预读大小等
3. 在新增的3个节点中选择一个节点来安装Greenplum软件，当然你也可以从已经存在的Greenplum集群中拷贝过来

举个例子：
这里假定TT-L0023778为新增的其中一台节点的主机名

首先在已经存在的Greenplum集群的一个节点执行：
scp -r /usr/local/greenplum-db-4.3.8.2 root@TT-L0023778:/usr/local/

然后在TT-L0023778上面创建软链接：
ln -s greenplum-db-4.3.8.2 greenplum-db

最后在TT-L0023778节点上面执行如下操作，将自动部署新增的3个节点，包括新增用户，创建信任关系，拷贝软件包操作等(这个操作和当初第一次安装Greenplum集群环境一样)：
注：newhosts文件内容为新增的3个节点的主机名
source /usr/local/greenplum-db/greenplum_path.sh
gpseginstall -f newhosts -u gpadmin -p xxxxxx

这样新增的3个节点就部署好Greenplum软件，创建gpadmin用户，以及建立之间的信任关系了

4. 已经存在的Greenplum集群环境和新增3个节点之间交换ssh key，即创建整个新Greenplum集群环境的信任关系
注：existhosts已经存在的主机名列表(每行一个主机名)
newhosts新增3个节点的主机名列表(每行一个主机名)
gpssh-exkeys -e existhosts -x newhosts
5. 规划新增3个节点的Segment的数据目录，最好保持和原Greenplum集群一致
6. 使用gpcheck检查
gpcheck -f newhosts
7. 使用gpcheckperf检查操作系统的磁盘读写，网络带宽等等
gpcheckperf -f newhosts -d /data1 -d /data2 -r d

三、初始化Segment并加入集群
使用gpexpand产生配置文件，当前如果你熟悉格式的话，也可以自己配置
执行如下命令，按照提示一步一步来：
gpexpand -f newhosts
最后会产生一个配置文件，比如：
gpexpand_inputfile_20160718_111125
内容为：
TT-L0088844:TT-L0088844:40000:/data1/primary/gpseg28:59:28:p:41000
TT-L0088845:TT-L0088845:50000:/data2/mirror/gpseg28:75:28:m:51000
TT-L0088844:TT-L0088844:40001:/data1/primary/gpseg29:60:29:p:41001
TT-L0088845:TT-L0088845:50001:/data2/mirror/gpseg29:76:29:m:51001
TT-L0088844:TT-L0088844:40002:/data2/primary/gpseg30:61:30:p:41002
TT-L0088845:TT-L0088845:50002:/data1/mirror/gpseg30:77:30:m:51002
TT-L0088844:TT-L0088844:40003:/data2/primary/gpseg31:62:31:p:41003
TT-L0088845:TT-L0088845:50003:/data1/mirror/gpseg31:78:31:m:51003
TT-L0088845:TT-L0088845:40000:/data1/primary/gpseg32:63:32:p:41000
TT-L0088846:TT-L0088846:50000:/data2/mirror/gpseg32:79:32:m:51000
TT-L0088845:TT-L0088845:40001:/data1/primary/gpseg33:64:33:p:41001
TT-L0088846:TT-L0088846:50001:/data2/mirror/gpseg33:80:33:m:51001
TT-L0088845:TT-L0088845:40002:/data2/primary/gpseg34:65:34:p:41002
TT-L0088846:TT-L0088846:50002:/data1/mirror/gpseg34:81:34:m:51002
TT-L0088845:TT-L0088845:40003:/data2/primary/gpseg35:66:35:p:41003
TT-L0088846:TT-L0088846:50003:/data1/mirror/gpseg35:82:35:m:51003
TT-L0088846:TT-L0088846:40000:/data1/primary/gpseg36:67:36:p:41000
TT-L0088844:TT-L0088844:50000:/data2/mirror/gpseg36:71:36:m:51000
TT-L0088846:TT-L0088846:40001:/data1/primary/gpseg37:68:37:p:41001
TT-L0088844:TT-L0088844:50001:/data2/mirror/gpseg37:72:37:m:51001
TT-L0088846:TT-L0088846:40002:/data2/primary/gpseg38:69:38:p:41002
TT-L0088844:TT-L0088844:50002:/data1/mirror/gpseg38:73:38:m:51002
TT-L0088846:TT-L0088846:40003:/data2/primary/gpseg39:70:39:p:41003
TT-L0088844:TT-L0088844:50003:/data1/mirror/gpseg39:74:39:m:51003

下面解释一下每列的含义：
<hostname>:<address>:<port>:<fselocation>:<dbid>:<content>:<preferred_role>:<replication_port>
hostname 主机名
address IP地址，可以用主机名
port segment监听端口
fselocation segment data目录,注意是全路径
dbid greenplum集群的唯一ID，可以到gp_segment_configuration中获得，必须顺序累加
content 可以到gp_segment_configuration中获得，必须顺序累加
prefered_role 角色(p或m)(primary , mirror)
replication_port 如果没有mirror则不需要(用于replication的端口)。

下面开始新增3个节点的Segment并加入Master中：
注：zhangyun_db为我的数据库名称
gpexpand -i gpexpand_inputfile_20160718_111125 -D zhangyun_db

如果遇到扩展失败了，执行回滚操作：
gpstart -m(或者gpstart -R)
gpexpand -r -D zhangyun_db
gpstart -a
然后定位问题，问题解决后，再重新执行：
gpexpand -i gpexpand_inputfile_20160718_111125 -D zhangyun_db

如果扩展Segment成功后，就可以通过查询gp_segment_configuration看到新增的节点。

四、重分布表
扩容成功后，执行gpstate -m查看mirror同步情况，当状态为Synchronized时就可以着手进行重分布表了，保持数据分布到新增的Segment节点。

我先看一下gpexpand模式下的几张表内容：
zhangyun_db=# select * from gpexpand.status order by updated;
status | updated
-------------------+----------------------------
SETUP | 2016-07-20 16:43:55.33152
SETUP DONE | 2016-07-20 16:44:28.592569
EXPANSION STARTED | 2016-07-20 17:35:55.635294
EXPANSION STOPPED | 2016-07-20 17:37:48.555813
(4rows)

接下来看一下详细的任务情况，如果需要调整任务的先后顺序，你可以修改rank即可：
由于数据量比较多，暂且列出一条数据。
zhangyun_db=# select dbname,fq_name,distribution_policy_names,rank,status from gpexpand.status_detail where fq_name='zy_schema.panda_detail';
dbname | fq_name |distribution_policy_names | rank | status
-------------+----------------------+---------------------------+------+-------------
zhangyun_db | zy_schema.panda_detail| ino , coide | 2 | NOT STARTED
rank值越小越先执行，如果你不想重分布某张表，可以删除对应表的记录行。

修改rank的值：
UPDATE gpexpand.status_detail SET rank=10 WHERE fq_name = 'zy_schema.t_bg_detail';

查看还有多少表没有重分布：
zhangyun_db=# select * from gpexpand.expansion_progress ;
name | value
----------------------------------------------+-----------------------------------------
Bytes Left | 997520595344
Tables Left | 80
Estimated Expansion Rate |
Estimated Time to Completion |
(4 rows)

下面我们开始执行数据重分布操作：
gpexpand -a -d 1:00:00 -D zhangyun_db -S -t /tmp -v -n 1
下面解释一个命令的参数含义：
-a表示expansion后执行ANALYZE统计表信息
-d表示expansion需要多久完成
-D表示gpexpand模式所在的数据库
-S表示显示简单的进程视图
-t表示指定Segment节点的临时目录，用来存放tar包文件
-n表示并行度

在执行重分布的过程，可以查看gpexpand.expansion_progress表数据，关注一下进度。

zhangyun_db=# select * fromgpexpand.expansion_progress ;
name | value
------------------------------+-----------------------
Bytes Done | 67588854304
Bytes Left | 929931741040
Estimated Expansion Rate | 43.7786103160174 MB/s
Tables Left | 78
Estimated Time to Completion | 05:37:37.655319
Tables Expanded | 2
(6 rows)
重分布结束后，执行清理操作：
清除重分布产生的schema gpexpand
gpexpand -c -D zhangyun_db