(十一)RabbitMQ消息队列-如何实现高可用
2017-05-02 16:10
751 查看
在前面讲到了RabbitMQ高可用集群的搭建,但是我们知道只是集群的高可用并不能保证应用在使用消息队列时完全没有问题,例如如果应用连接的RabbitMQ集群突然宕机了,虽然这个集群时可以使用的,但是应用订阅的连接就断开了,如果有个机房外网出口带宽被挖掘机弄断了,那集群依然是不可用的。所以我们后面会介绍应用APP如何与连接集群来保证两者配合默契,以及如何实现跨机房的集群复制。
![](https://oscdn.geek-share.com/Uploads/Images/Content/201705/2384d2ee1b4989070e7edf1f1d428648)
前面讲到应用服务器通过一个负载均衡服务将连接的流量分发到指定服务器,如果连接的节点宕机怎么办呢。应用服务器连接集群主要做两件事,订阅和发布,所以如果是发布消息每次都会重新初始化连接所以连接节点的切换对整个系统的可用性影响不大。如果是订阅消息就没有真么简单了。首先我们要做到如果连接出现问题应该是抛出异常而不是终止脚本,并且这时应该重新连接连接。
好了不废话了,代码如下:
所以通过以上的代码就可以保证服务器某节点宕机后订阅的连接自动重连切换。
这种方式其实并不是跨地区的远程复制,并且需要共享存储,如果感兴趣的同学可以百度下。
基于Shovel的远程复制
如果直接基于WAN来组建异地的集群的话,集群间大量的数据通讯会产生高昂的费用,另外Erlang也不允许这么高延迟的通讯。
Shovel是RabbitMQ自带插件(2.7.0后),自带插件的好处就是可以在RabbitMQ服务启动时自动启动Shovel和自定义复制关系。
Shovel运行的原理其实非常简单。通过定义RabbitMQ上一个队列和另外一个RabbitMQ上的交换机之间的复制关系来实现远程复制。也就是说它会在主服务上建立一个队列来监听交换机,所以这是到交换机所以的消息会投递到该队列,并且在从服务中订阅这个队列,使队列中的消息复制到从服务的交换机中。RabbitMQ是一个比较全面的消息队列解决方案,我们公司并没有用到该功能,只是在这提下,感兴趣的同学可以搜下。
RabbitMQ技术交流QQ群:327034977(添加时请备注RabbitMQ)
应用连接集群高可用
前面讲到应用服务器通过一个负载均衡服务将连接的流量分发到指定服务器,如果连接的节点宕机怎么办呢。应用服务器连接集群主要做两件事,订阅和发布,所以如果是发布消息每次都会重新初始化连接所以连接节点的切换对整个系统的可用性影响不大。如果是订阅消息就没有真么简单了。首先我们要做到如果连接出现问题应该是抛出异常而不是终止脚本,并且这时应该重新连接连接。
好了不废话了,代码如下:
$queueName = 'superrd'; $exchangeName = 'superrd'; while(True){ try { $connection->connect() or die("Cannot connect to the broker!\n"); $channel = new AMQPChannel($connection); $exchange = new AMQPExchange($channel); $exchange->setName($exchangeName); $exchange->setType(AMQP_EX_TYPE_DIRECT); $exchange->setFl 4000 ags(AMQP_DURABLE); $exchange->declareExchange(); $queue = new AMQPQueue($channel); $queue->setName($queueName); $queue->setFlags(AMQP_DURABLE); $queue->declareQueue(); $queue->bind($exchangeName, $routeKey); //阻塞模式接收消息 echo "Message:\n"; while(True){ $queue->consume('processMessage'); //自动ACK应答 //$queue->consume('processMessage', AMQP_AUTOACK); } } catch (AMQPConnectionException $e) { var_dump($e); // sleep(1); } //$conn->disconnect(); } /* * 消费回调函数 * 处理消息 */ function processMessage($envelope, $q) { $msg = $envelope->getBody(); echo $msg."\n"; //处理消息 $q->ack($envelope->getDeliveryTag()); //手动发送ACK应答 }
所以通过以上的代码就可以保证服务器某节点宕机后订阅的连接自动重连切换。
RabbitMQ集群异地复制
基于warren的共享存储模式这种方式其实并不是跨地区的远程复制,并且需要共享存储,如果感兴趣的同学可以百度下。
基于Shovel的远程复制
如果直接基于WAN来组建异地的集群的话,集群间大量的数据通讯会产生高昂的费用,另外Erlang也不允许这么高延迟的通讯。
Shovel是RabbitMQ自带插件(2.7.0后),自带插件的好处就是可以在RabbitMQ服务启动时自动启动Shovel和自定义复制关系。
Shovel运行的原理其实非常简单。通过定义RabbitMQ上一个队列和另外一个RabbitMQ上的交换机之间的复制关系来实现远程复制。也就是说它会在主服务上建立一个队列来监听交换机,所以这是到交换机所以的消息会投递到该队列,并且在从服务中订阅这个队列,使队列中的消息复制到从服务的交换机中。RabbitMQ是一个比较全面的消息队列解决方案,我们公司并没有用到该功能,只是在这提下,感兴趣的同学可以搜下。
RabbitMQ技术交流QQ群:327034977(添加时请备注RabbitMQ)
相关文章推荐
- 高可用消息队列服务构建-RABBITMQ
- 如何基于RabbitMQ实现优先级队列
- rabbitmq结合spring实现消息队列优先级
- rabbitmq结合spring实现消息队列优先级的方法
- 基于PHP使用rabbitmq实现消息队列
- RabbitMQ开源企业级消息队列系统实现方案(单机版)
- 消息队列基础 RabbitMQ与AMQP协议详解——超大规模高可用OpenStack核心技术深入解析系列(二)
- RabbitMQ(python实现)学习之二:Producer发送消息至多个消息队列queue(广播消息)
- 消息队列基础 RabbitMQ与AMQP协议详解——超大规模高可用OpenStack核心技术深入解析系列(二)
- SpringBoot中如何监听两个不同源的RabbitMQ消息队列
- 如何基于RabbitMQ实现优先级队列
- Redis与RabbitMQ实现消息队列
- 如何基于RabbitMQ实现优先级队列
- Python操作RabbitMQ服务器实现消息队列的路由功能
- UNIX环境下如何应用消息队列实现进程间通信
- UNIX环境下如何应用消息队列实现进程间通信
- 如何基于RabbitMQ实现优先级队列
- 如何基于RabbitMQ实现优先级队列
- 基于PHP使用rabbitmq实现消息队列
- Python操作RabbitMQ服务器实现消息队列的路由功能