centos7安装redis3.2.5集群

本文是在虚拟机centos7系统上安装redis3.2.5集群

redis集群简介

redis集群在启动的时候就自动在多个节点间分好片。同时提供了分片之间的可用性：当一部分redis节点故障或网络中断，集群也能继续工作。但是，当大面积的节点故障或网络中断（比如大部分的主节点都不可用了），集群就不能使用。
所以，从实用性的角度，Redis集群提供以下功能：
● 自动把数据切分到多个redis节点中
● 当一部分节点挂了或不可达，集群依然能继续工作

Redis集群数据的分片

Redis集群不是使用一致性哈希，而是使用哈希槽。整个redis集群有16384个哈希槽，决定一个key应该分配到那个槽的算法是：计算该key的CRC16结果再模16834。
集群中的每个节点负责一部分哈希槽，比如集群中有３个节点，则：
● 节点Ａ存储的哈希槽范围是：0 – 5500
● 节点Ｂ存储的哈希槽范围是：5501 – 11000
● 节点Ｃ存储的哈希槽范围是：11001 – 16384
这样的分布方式方便节点的添加和删除。比如，需要新增一个节点Ｄ，只需要把Ａ、Ｂ、Ｃ中的部分哈希槽数据移到Ｄ节点。同样，如果希望在集群中删除Ａ节点，只需要把Ａ节点的哈希槽的数据移到Ｂ和Ｃ节点，当Ａ节点的数据全部被移走后，Ａ节点就可以完全从集群中删除。
因为把哈希槽从一个节点移到另一个节点是不需要停机的，所以，增加或删除节点，或更改节点上的哈希槽，也是不需要停机的。
如果多个key都属于一个哈希槽，集群支持通过一个命令（或事务, 或lua脚本）同时操作这些key。通过“哈希标签”的概念，用户可以让多个key分配到同一个哈希槽。哈希标签在集群详细文档中有描述，这里做个简单介绍：如果key含有大括号”{}”,则只有大括号中的字符串会参与哈希，比如”this{foo}”和”another{foo}”这２个key会分配到同一个哈希槽，所以可以在一个命令中同时操作他们。

Redis集群的主从模式

为了保证在部分节点故障或网络不通时集群依然能正常工作，集群使用了主从模型，每个哈希槽有一（主节点）到N个副本（N-1个从节点）。在我们刚才的集群例子中，有A,B,C三个节点，如果B节点故障集群就不能正常工作了，因为Ｂ节点中的哈希槽数据没法操作。但是，如果我们给每一个节点都增加一个从节点，就变成了：A,B,C三个节点是主节点，A1, B1, C1 分别是他们的从节点，当B节点宕机时，我们的集群也能正常运作。B1节点是B节点的副本，如果B节点故障，集群会提升B1为主节点，从而让集群继续正常工作。但是，如果B和B1同时故障，集群就不能继续工作了。
Redis集群的一致性保证
Redis集群不能保证强一致性。一些已经向客户端确认写成功的操作，会在某些不确定的情况下丢失。
产生写操作丢失的第一个原因，是因为主从节点之间使用了异步的方式来同步数据。
一个写操作是这样一个流程：
1)客户端向主节点B发起写的操作2)主节点B回应客户端写操作成功3)主节点B向它的从节点B1,B2,B3同步该写操作
从上面的流程可以看出来，主节点B并没有等从节点B1,B2,B3写完之后再回复客户端这次操作的结果。所以，如果主节点B在通知客户端写操作成功之后，但同步给从节点之前，主节点Ｂ故障了，其中一个没有收到该写操作的从节点会晋升成主节点，该写操作就这样永远丢失了。
就像传统的数据库，在不涉及到分布式的情况下，它每秒写回磁盘。为了提高一致性，可以在写盘完成之后再回复客户端，但这样就要损失性能。这种方式就等于Redis集群使用同步复制的方式。
基本上，在性能和一致性之间，需要一个权衡。

创建和使用Redis集群

第一步: 下载redis3.2.5 source文件

我把下载的软件放在/usr/soft下
[root@localhost /soft] wget http://download.redis.io/releases/redis-3.2.5.tar.gz 结果如下图：

[root@localhost /soft] tar xvf redis-3.2.5.tar.gz
[root@localhost /soft] cd redis-3.2.5
[root@localhost /redis-3.2.5] make && make install
这时候可能会报错，原因是需要gcc
gcc安装
[root@localhost /soft] yum install gcc
成功之后，回到redis-3.2.5/src目录，运行make命令
[root@localhost /redis-3.2.5] make && make install
不出意外是成功了。

第二步:检测make命令执行的结果的正确性

输出提示会强烈建议我们运行make test命令，目的是检查make命令的结果有无错误(也可以不运行make tet命令，从而可以进行越过这个继续redis集群搭建了)

[root@localhost /redis-3.2.5] make test
这时可能会报错，如下图

原因是：缺少tcl

第三步:安装tcl8.6.6

安装tcl:
[root@localhost /soft] wget http://prdownloads.sourceforge.net/tcl/tcl8.6.6-src.tar.gz [root@localhost /soft]tar xvf tcl8.6.6-src.tar.gz
[root@localhost /tcl8.6.6] cd tcl8.6.6/unix/
[root@localhost /unix]./configure make && make install
等待一会，查看打出的信息，没有错误就ok。

现在回到redis-3.2.5/src目录
[root@localhost soft]# cd redis-3.2.5/src
[root@localhost /src]# make test
稍等，去喝一杯再回来

ok。到此，redis编译都ok了

第四步：创建集群配置文件

我的目录：创建了一个redis-cluster文件夹，把redis程序放到这个文件夹，然后创建了两个文件夹redis-data-cluster和redis-mybatis-cluster,因为要创建两个集群。共创建了下面12个文件，每个集群都是3主3从：

创建配置文件步骤类似以下：

[root@localhost soft]# mkdir redis_cluster
[root@localhost soft]# cd redis_cluster
[root@localhost redis_cluster]# mkdir conf

在此目录下，创建redis_7000.conf到redis_7005.conf六个配置文件
现创建redis_7000.conf，其余5个cp就可以了，再把内容中的端口号改为对应的700*
[root@localhost conf]#touch redis_7000.conf
[root@localhost conf]#vim redis_7000.conf
把
daemonize    yes
pidfile  /var/run/redis_7000.pid
port  7000
cluster-enabled  yes
cluster-config-file  nodes_7000.conf
cluster-node-timeout  5000
appendonly  yes
粘贴到文件中
Esc :wq, 保存退出

[root@localhost conf]# cp redis_7000.conf  redis_7001.conf
[root@localhost conf]# cp redis_7000.conf  redis_7002.conf
[root@localhost conf]# cp redis_7000.conf  redis_7003.conf
[root@localhost conf]# cp redis_7000.conf  redis_7004.conf
[root@localhost conf]# cp redis_7000.conf  redis_7005.conf
记得把cp后的文件内容的端口相应的修改

字段说明：
daemonize    yes                        //redis后台运行
pidfile  /var/run/redis_7000.pid        //pidfile文件对应
port  7000                              //端口
cluster-enabled  yes                    //开启集群  把注释#去掉
cluster-config-file  nodes_7000.conf    //集群的配置  配置文件首次启动自动生成
cluster-node-timeout  5000              //请求超时  设置5秒够了
appendonly  yes                         //aof日志开启  有需要就开启，它会每次写操作都记录一条日志

使用tree命令可以清楚的查看目录的结构：
[root@localhost redis_cluster]#yum install tree
[root@localhost redis_cluster]# tree -I conf
配置好的6个文件如下图

启动这6个redis实例

创建一个脚本文件批量启动：touch startRedisCluster.sh

复制内容：

redis-server redis-data-cluster/redis6386.conf;    
redis-server redis-data-cluster/redis6387.conf;
redis-server redis-data-cluster/redis6388.conf;
redis-server redis-data-cluster/redis6389.conf;
redis-server redis-data-cluster/redis6390.conf;
redis-server redis-data-cluster/redis6391.conf;
redis-server  redis-mybatis-cluster/redis6380.conf;
redis-server  redis-mybatis-cluster/redis6381.conf;
redis-server  redis-mybatis-cluster/redis6382.conf;
redis-server  redis-mybatis-cluster/redis6383.conf;
redis-server  redis-mybatis-cluster/redis6384.conf;
redis-server  redis-mybatis-cluster/redis6385.conf;
直接执行不行，需要获取权限：（ls -l查看文件权限）
chmod u+x *.sh 

执行完上面的命令，再执行./startRedisCluster.sh

查看启动后的redis进程

查看redis6个进程的监听端口

第五步：搭建集群

现在我们已经有了六个正在运行中的 Redis 实例， 接下来我们需要使用这些实例来创建集群， 并为每个节点编写配置文件。
通过使用 Redis 集群命令行工具 redis-trib ， 编写节点配置文件的工作可以非常容易地完成： redis-trib 位于 Redis 源码的 src 文件夹中， 它是一个 Ruby 程序， 这个程序通过向实例发送特殊命令来完成创建新集群， 检查集群， 或者对集群进行重新分片(reshared)等工作。所以我们需要安装ruby的东西
[root@localhost redis_cluster]# yum install ruby

[root@localhost redis_cluster]# yum install rubygems

[root@localhost redis_cluster]# gem install redis

[root@localhost src]# ./redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 \
> 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
这个命令在这里用于创建一个新的集群, 选项–replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
之后跟着的其他参数则是这个集群实例的地址列表,3个master3个slave redis-trib 会打印出一份预想中的配置给你看， 如果你觉得没问题的话， 就可以输入 yes ， redis-trib 就会将这份配置应用到集群当中,让各个节点开始互相通讯,最后可以得到如下信息：

输入"yes",回车

左边的“M:”表示该节点是master节点，相应的“S:”表示该节点为slave节点

测试集群：

Redis 分支中的 redis-cli 程序实现了非常基本的集群支持， 可以使用命令 redis-cli -c 来启动。

在7000上set yy yao,集群自动存到7001上。
在7000上set yy2 go2,集群自动存到7001上。
在7000上get yy2,集群自动到7001上取值。