您的位置:首页 > 其它

消息队列入门

2017-12-27 15:17 211 查看
消息队列(英语:Message queue)是一种进程间通信或同一进程的不同线程间的通信方式,软件贮列用来处理一系列的输入,通常是来自用户。消息队列提供了异步通信协议,每一个贮列中的纪录包含详细说明的数据,包含发生的时间,输入设备的种类,以及特定的输入参数,也就是说:消息的发送者和接收者不需要同时与消息队列互交。消息会保存在队列中,直到接收者取回它。


组成

Broker:消息服务器,作为server提供消息核心服务

Producer:消息生产者,业务的发起方,负责生产消息传输给broker,

Consumer:消息消费者,业务的处理方,负责从broker获取消息并进行业务逻辑处理

Topic:主题,发布订阅模式下的消息统一汇集地,不同生产者向topic发送消息,由MQ服务器分发到不同的订阅者,实现消息的广播

Queue:队列,PTP模式下,特定生产者向特定queue发送消息,消费者订阅特定的queue完成指定消息的接收

Message:消息体,根据不同通信协议定义的固定格式进行编码的数据包,来封装业务数据,实现消息的传输


使用场景

异步通信

有些业务不想也不需要立即处理消息。消息队列提供了异步处理机制,允许用户把一个消息放入队列,但并不立即处理它。想向队列中放入多少消息就放多少,然后在需要的时候再去处理它们。

解耦

降低工程间的强依赖程度,针对异构系统进行适配。在项目启动之初来预测将来项目会碰到什么需求,是极其困难的。通过消息系统在处理过程中间插入了一个隐含的、基于数据的接口层,两边的处理过程都要实现这一接口,当应用发生变化时,可以独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。

冗余

有些情况下,处理数据的过程会失败。除非数据被持久化,否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的指出该消息已经被处理完毕,从而确保你的数据被安全的保存直到你使用完毕。

扩展性

因为消息队列解耦了你的处理过程,所以增大消息入队和处理的频率是很容易的,只要另外增加处理过程即可。不需要改变代码、不需要调节参数。便于分布式扩容。

过载保护

在访问量剧增的情况下,应用仍然需要继续发挥作用,但是这样的突发流量无法提取预知;如果以为了能处理这类瞬间峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃。

可恢复性

系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。

顺序保证

在大多使用场景下,数据处理的顺序都很重要。大部分消息队列本来就是排序的,并且能保证数据会按照特定的顺序来处理。

缓冲

在任何重要的系统中,都会有需要不同的处理时间的元素。消息队列通过一个缓冲层来帮助任务最高效率的执行,该缓冲有助于控制和优化数据流经过系统的速度。以调节系统响应时间。

数据流处理

分布式系统产生的海量数据流,如:业务日志、监控数据、用户行为等,针对这些数据流进行实时或批量采集汇总,然后进行大数据分析是当前互联网的必备技术,通过消息队列完成此类数据收集是最好的选择。+


框架比较

MQ语言支持协议持久化策略消息确认机制
RabbitMQErlangAMQP STOMP (STOMP 1.0, STOMP 1.1 and STOMP 1.2)MQTTHTTP(有三种方式)本地磁盘文件有消息确认机制
ActiveMQJavaAMQPMQTTOpenWireSTOMPAMQ(磁盘文件)、KahaDB(本地数据库)、JDBC、LevelDB(本地数据库)AUTO_ACKNOWLEDGE = 1 自动确认CLIENT_ACKNOWLEDGE = 2 客户端手动确认 DUPS_OK_ACKNOWLEDGE = 3 自动批量确认SESSION_TRANSACTED = 0 事务提交并确认自定义的ACK_MODE:INDIVIDUAL_ACKNOWLEDGE = 4 单条消息确认
ZeroMQC/C++zmq_ipc(本地进程间通信)基于Socket的通信协议:TCP、INROC 、IPC 、PGM不支持持久化无,类似NIO的非阻塞事件
RedisC自定义redis协议支持磁盘持久化
Kafkascala自定义磁盘持久化有消息确认机制
今天我们以ActiveMQ为例进行一系列的学习

Apache ActiveMQ是Apache软件基金会所研发的开放源码消息中间件;由于ActiveMQ是一个纯Java框架,那么我们先要了解下java中的JMS。

JMS的全称是Java Message Service,即Java消息服务。它主要用于在生产者和消费者之间进行消息传递,生产者负责产生消息,而消费者负责接收消息。把它应用到实际的业务需求中的话我们可以在特定的时候利用生产者生成一消息,并进行发送,对应的消费者在接收到对应的消息后去完成对应的业务逻辑。对于消息的传递有两种类型,一种是点对点的,即一个生产者和一个消费者一一对应;另一种是发布/订阅模式,即一个生产者产生消息并进行发送后,可以由多个消费者进行接收。


JMS基本构成


1、连接工厂

连接工厂是客户用来创建连接的对象,例如 ActiveMQ 提供的

ActiveMQConnectionFactory。


2、 连接

JMS Connection 封装了客户与 JMS 提供者之间的一个虚拟的连接。


3、会话

JMS Session 是生产和消费消息的一个单线程上下文。会话用于创建消息生

产者(producer)、消息消费者(consumer)和消息(message)等。会话提供

了一个事务性的上下文,在这个上下文中,一组发送和接收被组合到了一个原子

操作中。


4、 目的地

目的地是客户用来指定它生产的消息的目标和它消费的消息的来源的对象。

JMS1.0.2 规范中定义了两种消息传递域:点对点(PTP)消息传递域和发布/订阅

消息传递域。


5、消息生产者

消息生产者是由会话创建的一个对象,用于把消息发送到一个目的地。


6、消息消费者

消息消费者是由会话创建的一个对象,它用于接收发送到目的地的消息。


7、消息

JMS 消息由以下三部分组成:

• 消息头。每个消息头字段都有相应的 getter 和 setter 方法。

• 消息属性。如果需要除消息头字段以外的值,那么可以使用消息属性。

• 消息体。JMS 定义的消息类型有 TextMessage、MapMessage、BytesMessage、

StreamMessage 和 ObjectMessage。


来看下具体代码:


生产者

// 1.初始化connection工厂
ConnectionFactory factory = new ActiveMQConnectionFactory(ActiveMQConnection.DEFAULT_USER,
ActiveMQConnection.DEFAULT_PASSWORD, BROKE_URL);
// 2.创建Connection
connection = factory.createConnection();
// 3.打开连接
connection.start();
// 4.创建session
session = connection.createSession(Boolean.TRUE, Session.AUTO_ACKNOWLEDGE);
// 5.创建消息目的地
Destination destination = session.createQueue(DESTINATION);
//6.创建生产者
MessageProducer producer = session.createProducer(destination);
//7.配置消息持久化
producer.setDeliveryMode(DeliveryMode.NON_PERSISTENT);
//8.发送消息
sendMessage(session, producer);
//9.事务提交
session.commit();


消费者


// 1.初始化connection工厂
ConnectionFactory connectionFactory = new ActiveMQConnectionFactory();

// 2.创建Connection
connection = connectionFactory.createConnection();

// 3.打开连接
connection.start();

// 4.创建session
Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);

// 5.创建消息目标
Destination destination = session.createTopic("YD");

//6.创建消费者
MessageConsumer consumer = session.createConsumer(destination);

//7.配置监听
consumer.setMessageListener(this);
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  MQ