RabbitMQ 的发布确认

RabbitMQ 的发布确认

一、发布确认原理

生产者将信道设置成 confirm 模式，一旦信道进入 confirm 模式，所有偶在该信道上面发布的消息都将会被指派一个唯一的 ID（从 1 开始），一旦消息被投递到所有匹配的队列之后，Broker 就会发送一个确认给生产者（包含消息的唯一 ID），这就使得生产者知道消息已经正确到达目的队列了。如果消息和队列时可持久化的，那么确认消息会在将消息写入磁盘之后发出。Broker 回传给生产者的确认消息中 delivery-tag 域包含了确认消息的序列号，此外 Broker 也可以设置 basic.ack 的 multiple 域，表示到这个序列号之前的所有消息都已经得到了处理。

confirm 模式最大的好处在于它是异步的，一旦发布一条消息，生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息，档消息最总得到确认之后，生产者应用便可以通过回调方法来处理该确认消息。如果 RabbitMQ 因为自身内部错误导致消息丢失，就会发送一条 nack 消息，生产者应用程序同样可以在回调方法中处理该 nack 消息。

发布确认机制可以保证消息在发布的过程中不会丢失。

二、发布确认的策略

2.1 开启发布确认的方法

发布确认默认是没有开启的，如果要开启需要调用方法 confirmSelect：

2.2 单个确认发布

单个确认发布是一种简单的确认方式，它是一种同步确认发布的方式，也就是发布一个消息之后只有它被确认发布，后续的消息才能继续发布。waitForConfirmsOrDie(long) 这个方法只有在消息被确认的时候才返回，如果在指定时间范围内这个消息没有被确认，那么该方法将抛出异常。

这种确认方式有一个最大的缺点就是：发布速度特别的慢，因为如果没有确认发布的消息就会阻塞所有后续消息的发布，这种方式最多提供每秒不超过数百条发布消息的吞吐量。当然对于某些应用程序来说这可能已经足够了。

public class publishConfirmsTest {private static int MESSAGE_COUNT = 100;public static void main(String[] args) throws Exception {publishMessageIndividual();}/**** 单个消息发布确认*/public static void publishMessageIndividual() throws Exception {Channel channel = Channel();String queueName = UUID.randomUUID().toString();// 声明队列channel.queueDeclare(queueName, true, false, false, null);// 开启发布确认 目的是为了发送消息更加安全firmSelect();long begin = System.currentTimeMillis();for (int i = 0; i < MESSAGE_COUNT; i++) {String message = "消息" + i;channel.basicPublish("", queueName, null, Bytes());// 等待 Broker 确认收到消息的一个方法boolean flag = channel.waitForConfirms();if(flag){System.out.println("Broker已经收到消息！");}}long end = System.currentTimeMillis();System.out.println("发布" + MESSAGE_COUNT + "条单个发布确认消息，耗时" + (end - begin) + "ms");}
}

2.3 批量确认发布

单个发布确认的方式确认消息的速度非常慢。与单个等待确认消息相比，先发布一批消息然后一起确认可以极大地提高吞吐量，当然这种方式的缺点就是：当发生故障导致发布出现问题时，不知道是哪条消息出现问题了，我们必须将整个批处理保存在内存中，以记录重要的消息而后重新发布消息。当然这种方案仍然是同步的，也一样阻塞消息的发布。

public static void publishMessageBatch() throws Exception {Channel channel = Channel();String queueName = UUID.randomUUID().toString();channel.queueDeclare(queueName, true, false, false, null);firmSelect();int batchSize = 50;int outstandingMessageCount = 0;long begin = System.currentTimeMillis();for (int i = 0; i < MESSAGE_COUNT; i++) {String message = "消息";channel.basicPublish("", queueName, null, Bytes());outstandingMessageCount++;if(outstandingMessageCount == batchSize){boolean flag = channel.waitForConfirms();if(flag){System.out.println("Broker 已经收到消息");outstandingMessageCount = 0;}}}if(outstandingMessageCount > 0){boolean flag = channel.waitForConfirms();if(flag){System.out.println("Broker 已经收到消息");}}long end = System.currentTimeMillis();System.out.println("发布" + MESSAGE_COUNT +"条发布确认消息，耗时：" + (end-begin) + "ms");
}

2.4 异步确认发布

异步确认虽然编程逻辑比单个确认发布以及批量确认发布要复杂，但是性价比最高，无论是可靠性还是效率都没得说。它是利用回调函数来达到消息可靠性传递的，这个中间件也是通过函数回调来保证是否投递成功。

生产者在向 Broker 中发送消息的同时，将消息保存至一个 map 集合中，RabbitMQ 通过两个回调函数 ackCallback 和 nackCallback 来异步操作 map 集合。当确认收到消息，RabbitMQ 会执行回调函数 ackCallback，将已经确认的消息从 map 集合中移除。当未确认收到消息，则通过回到函数 nackCallback，则将消息从 map 中取出，再执行一次发送。

public static void publishMessageAsync() throws Exception {Channel channel = Channel();String queueName = UUID.randomUUID().toString();// 声明队列channel.queueDeclare(queueName, true, false, false, null);// 开启发布确认 目的是为了发送消息更加安全firmSelect();/** ConcurrentSkipListMap 是一个线程安全的 map*   1、将序号与消息进行关联*   2、只要给定序号，就会把 <= 当前序号的值作为一个 map 提取出来** */ConcurrentSkipListMap<Long, String> outstandingConfirms = new ConcurrentSkipListMap<>();/**  void handle(long deliveryTag, boolean multiple) throws IOException;*       deliveryTag：即参数sequenceNumber，表示当前消息序号*       multiple：处理一条消息还是多条消息*           true：处理多条消息*           false：处理单条消息** */ConfirmCallback ackCallback = (sequenceNumber,multiple) -> {if(multiple){// 此时签收小于等于 sequenceNumber 的消息ConcurrentNavigableMap<Long, String> confirmedPartMap = outstandingConfirms.headMap(sequenceNumber);// 删除已经确认收到的一部分 mapconfirmedPartMap.clear();} else {// 只签收当前 sequenceNumber 消息ve(sequenceNumber);}};ConfirmCallback nackCallback = (sequenceNumber,multiple) -> {String message = (sequenceNumber);System.out.println("序号为 "+sequenceNumber+" 的消息" + message + "需要重新发送");};// 添加一个监视器，收到消息回调或者未收到消息回调channel.addConfirmListener(ackCallback, nackCallback);long begin = System.currentTimeMillis();for (int i = 0; i < MESSAGE_COUNT; i++) {String message = "消息" + i;outstandingConfirms.NextPublishSeqNo(), message);channel.basicPublish("", queueName, null, Bytes());}long end = System.currentTimeMillis();System.out.println("发布" + MESSAGE_COUNT + "条异步确认消息，耗时" + (end - begin) + "ms");
}

在发送 500 条消息的情况下，与批量确认发布进行比对，结果如下

2.5 如何处理异步未确认消息

最好的解决方案就是把未确认的消息放到一个基于内存的能被发布线程访问的队列，比如说用 ConcurrentLinkedQueue 这个队列在 confirm callbacks 与发布线程之间进行消息的传递。

2.6 三种发布确认速度对比

单独发布消息：同步等待确认，简单，但吞吐量非常有限
批量发布消息：批量同步等待确认，简单，合理的吞吐量，一旦出现问题但很难推断出是哪条消息出现了问题。
异步处理：最佳性能和资源利用，在出现错误的情况下可以很好地控制，但是实现起来稍微复杂一些。