Redis

Redis:KV cache and storein-memory 所有工作在内存中进行，支持持久化支持主从(借助于sentinel实现一定意义上的HA)支持Clustering(分布式集群)
Redis数据类型
String（字符串）, List（列表）, Hash（哈希值）, Set（集合）, Sorted Set（有序集合）, Bitmap, HyperLoglog
Redis的组件：
Redis守护进程：监听端口：6379/tcp Strings:SET key value [EX #] [NX|XX]GETINCRDECREXIST Lists:LPUSHRPUSHLPOPRPOPLINDEXLSET Sets:SADDSINTERSUNIONSPOPSISMEMBER Sorted Sets:ZADDZRANGEZCARDZRANK Hashes:HSETHSETNXHGETHKEYSHVALSHDEL Bitmaps, HyperLogLog 认证实现方法：(1) redis.confrequirepass PASSWORD (2) redis-cliAUTH PASSWORD 清空数据库：FLUSHDB：清空当前库FLUSHALL：清空所有库 事务：通过MULTI, EXEC, WATCH等命令实现事务功能；将一个或多个命令归并为一个操作提请服务器按顺序执行的机制；不支持回滚操作；MULTI：启动一个事务；EXEC: 执行事务；一次性将事务中的所有操作执行完成后返回给客户端； WATCH：乐观锁；在EXEC命令执行之前，用于监视指定数量键；如果监视中的某任意键数据被修改，则服务器拒绝执行事务； Connection(连接端)相关的命令：

Server（服务端）相关的命令：CLIENT SETNAME connection-nameCLIENT GETNAMECLIENT KILL ip:port CONFIG GETCONFIG RESETSTATCONFIG SET parameter valueCONFIG REWRITE DBSIZE BGSAVESAVELASTSAVE 发布与订阅(publish/subscribe)频道：消息队列 SUBSCRIBE: 订阅一个或多个队列；PUBLISH: 向频道发布消息；UNSUBSCRIBE：退订此前订阅的频道；PSUBSCRIBE：模式订阅 Redis的持久化2种方式：RDB和AOF
RDB: snapshot，二进制格式；按事先定制的策略，周期性地将数据保存至磁盘；数据文件默认为dump.rdb; 客户端也可显式使用SAVA或BGSAVE命令启动快照保存机制； SAVE: 同步，在主线程中保存快照；此时会阻塞所有客户端请求； BGSAVE：异步，
RDB： # vim /etc/redis.conf 相关参数快照触发条件 SAVE 900 1 //900秒1个keySAVE 300 10 //300秒 10个KEY SAVE 60 10000 // 60 秒 1万个KEY stop-writes-on-bgsave-error yes //异步错误时停止写操作rdbcompression yes //压缩rdbchecksum yesdbfilename dump.rdbdir /var/lib/redis //dump.rdb 文件的保存目录

AOF：Append Only File记录每一次写操作至指定的文件尾部实现持久化；当redis重启时，可通过重新执行文件中的命令在内存重建数据库； BGREWRITEAOF：AOF文件重写；不会读取正在使用AOF文件，而通过将内存中的数据以命令的方式保存到临时文件中，完成之后替换原来的AOF文件； AOF:重写过程：(1) redis主进程通过fork创建子进程；(2) 子进程根据redis内存中的数据创建数据库重建命令序列于临时文件中；(3) 父进程继承client的请求，并会把这些请求中的写操作继续追加至原来AOF文件；额外地，这些新的写请求还会被放置于一个缓冲队列中；(4) 子进程重写完成，会通知父进程；父进程把缓冲中的命令写到临时文件中(5) 父进程用临时文件替换老的aof文件； 相关参数：appendonly no //还没有打开aof, 改为yes 启用appendfilename "appendonly.aof" appendfsync {always|everysec|no} //同步时选项，建议用everysecno-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mb 注意：持久本身不能取代备份；还应该制定备份策略，对redis数据库定期进行备份；假如RDB与AOF同时启用：(1) BGSAVE和BGREWRITEAOF不会同时执行；(2) 在Redis服务器启动用于恢复数据时，会优先使用AOF； ========================================================================================================redis的复制：特点：一个Master可以有多个Slave；支持链式复制；Master以非阻塞方式同步数据至slave； slave 服务器连接> SLAVAOF MASTER_IP MASTER_PORT 注意：如果master使用requirepass开启了认证功能，从服务器要使用masterauth <PASSWORD>来连入服务请求使用此密码进行认证； sentinel（哨兵监控机）：用来管理多个redis服务实现HA；监控通知自动故障转移流言协议，投票协议 程序：redis-sentinel /path/to/file.confredis-server /path/to/file.conf --sentinel (1) 服务器自身初始化，运行redis-server中专用于sentinel功能的代码；(2) 初始化sentinel状态，根据给定的配置文件，初始化监控的master服务器列表；(3) 创建连向master的连接； 专用配置文件：/etc/redis-sentinel.conf 指明要被监控的主节点(1) # sentinel monitor <master-name> <ip> <redis-port> <quorum>sentinel monitor mymaster 127.0.0.1 6379 2 2为法定票数 判断某个节点的超时时长 (2) sentinel down-after-milliseconds <master-name> <milliseconds> sentinel down-after-milliseconds mymaster 30000 刚刚上线的主服务器，被允许有几个从服务器连接请求(3) sentinel parallel-syncs <master-name> <numslaves> sentinel parallel-syncs mymaster 1 故障转移的操时时间(4) sentinel failover-timeout <master-name> <milliseconds> sentinel failover-timeout mymaster 180000 主观下线，客观下线： 主观下线：一个sentinel实例判断出某节点下线； 客观下线：多个sentinel节点协商后判断出某节点下线； 专用命令： SENTINEL masters SENTINEL slaves <master name> SENTINEL get-master-addr-by-name <master name> SENTINEL reset SENTINEL failover <master name> Clustering： 分布式数据库，通过分片机制进行数据分布，clustering内的每个节点仅数据库的一部分数据； 每个节点持有全局元数据，但仅持有一部分数据； 作为一种基数统计算法，比如统计一个千万级别以上的访问日志文件中不同IP出现的次数，传统实现方式是把文件中的所有IP取出并存储到hash set中，计算总数即可。不过，处理海量数据的时，对内存的占用量将会特别大，因此就有了所谓的“位图法“。位图可以快速、准确地获取一个给定输入的基数。位图的基本思想是使用哈希函数把数据集映射到一个bit位，每个输入元素与bit位是一一对应。这样Hash将没有产生碰撞冲突，并减少需要计算每个元素映射到1个bit的空间。虽然Bitmap大大节省了存储空间，但当统计很高的基数或非常大的不同的数据集，它们仍然有问题。好在基数统计作为一个新兴的领域，业已出现不少开源算法，基数统计算法的思想是用准确率换取空间，准确率可以稍稍差一点点，但是可以大大的缩减占用的空间。例如，目前3个比较有代表的算法是：Java HashSet、Linear Probabilistic Counter以及一个Hyper LogLog Counter。 redis 试验192.168.2.46 主服务器192.168.2.26 从服务器192.168.2.100 从服务器 192.168.2.24 监控服务器 第一步：（1）从服务器192.169.2.26 的配置文件redis.conf bind 192.168.2.26 监听自己 slaveof 192.168.2.46 6379 改为连接的主服务器IP， 持久连接 （2）进入从服务器连接连接主服务器：# redis-cli -h 192.168.2.26192.168.2.26:6379> SLAVEOF 192.168.2.46 6379 连接主服务器OK192.168.2.26:6379> INFO REPLICATION# Replicationrole:slavemaster_host:192.168.2.46master_port:6379master_link_status:upmaster_last_io_seconds_ago:5master_sync_in_progress:0slave_repl_offset:15slave_priority:100slave_read_only:1connected_slaves:0master_repl_offset:0repl_backlog_active:0repl_backlog_size:1048576repl_backlog_first_byte_offset:0repl_backlog_histlen:0 （3）测试：主服务器添加一个KEY测试。192.168.2.46:6379> set mykey helloOK192.168.2.46:6379> keys *1) "mykey"192.168.2.46:6379> （4）从服务器查看192.168.2.26:6379> KEYS *1) "mykey" 第二步 （1）从服务器192.169.2.100 的配置文件redis.conf bind 192.168.2.100 监听自己 slaveof 192.168.2.46 6379 改为连接的主服务器IP，会持久连接 （2）连接从服务器,后连接主服务器192.168.2.46 端口为6397[root@centos ~]# redis-cli -h 192.168.2.100192.168.2.100:6379> SLAVEOF 192.168.2.46 6379OK Already connected to specified master192.168.2.100:6379> INFO REPLICATION# Replicationrole:slavemaster_host:192.168.2.46master_port:6379master_link_status:upmaster_last_io_seconds_ago:4master_sync_in_progress:0slave_repl_offset:295slave_priority:100slave_read_only:1connected_slaves:0master_repl_offset:0repl_backlog_active:0repl_backlog_size:1048576repl_backlog_first_byte_offset:0repl_backlog_histlen:0 （3）查看同步的KEY192.168.2.100:6379> keys *1) "mykey" 注意如果主服务器使用了requirepass 开始了认证功能，那从服务器要使用masterauth <password> 来连接 主服务器查看加入进的从服务器： [root@test1 ~]# redis-cli -h 192.168.2.46192.168.2.46:6379> INFO REPLICATION# Replicationrole:masterconnected_slaves:2slave0:ip=192.168.2.100,port=6379,state=online,offset=421,lag=1slave1:ip=192.168.2.26,port=6379,state=online,offset=421,lag=1master_repl_offset:421repl_backlog_active:1repl_backlog_size:1048576repl_backlog_first_byte_offset:2repl_backlog_histlen:420192.168.2.46:6379> 上面显示 192.168.2.100 192.168.2.26 已经连接为从服务器 第三步： 监控服务器 编辑redis-sentinel.conf # vim /etc/redis-sentinel.conf sentinel monitor mymaster 192.168.2.46 6379 1sentinel down-after-milliseconds mymaster 5000sentinel failover-timeout mymaster 60000sentinel config-epoch mymaster 1 启动redis-sentinel服务# service redis-sentinel restart # redis-cli -h 192.168.2.24 -p 26379192.168.2.24:26379> sentinel masters 查看主服务器地址192.168.2.24:26379> SENTINEL slaves mymaster 查看主服务器的从节点 mymaster 为主从这个组的名，可以自己改 如果主服务192.168.2.46 下线，会自已选一个从服务器变成主。192.168.2.46在次上线还是为从，只有自己手动改为主。