RabbitMQ如何解决各种情况下丢数据的问题
<div id="post_detail">
<div class="post">
<h2>
<a id="cb_post_title_url" href="https://www.cnblogs.com/tinyj/p/9977205.html">RabbitMQ如何解决各种情况下丢数据的问题</a>
</h2>
<div class="postbody">
<div id="cnblogs_post_body" class="blogpost-body"><p>1.生产者丢数据</p>
生产者的消息没有投递到MQ中怎么办?从生产者弄丢数据这个角度来看,RabbitMQ提供transaction和confirm模式来确保生产者不丢消息。
transaction机制就是说,发送消息前,开启事物(channel.txSelect()),然后发送消息,如果发送过程中出现什么异常,事物就会回滚(channel.txRollback()),如果发送成功则提交事
物(channel.txCommit())。
然而缺点就是吞吐量下降了。因此,按照博主的经验,生产上用confirm模式的居多。一旦channel进入confirm模式,所有在该信道上面发布的消息都将会被指派一个唯一的ID(从1开始),一旦
消息被投递到所有匹配的队列之后,rabbitMQ就会发送一个Ack给生产者(包含消息的唯一ID),这就使得生产者知道消息已经正确到达目的队列了.如果rabiitMQ没能处理该消息,则会发送一个N
ack消息给你,你可以进行重试操作。
下面演示一下confirm模式:
//测试确认后回调 @Service public class HelloSender1 implements RabbitTemplate.ConfirmCallback {@Autowired </span><span style="color: #0000ff;">private</span><span style="color: #000000;"> RabbitTemplate rabbitTemplate; </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">void</span><span style="color: #000000;"> send() { String context </span>= "你好现在是 " + <span style="color: #0000ff;">new</span> Date() +""<span style="color: #000000;">; System.out.println(</span>"HelloSender发送内容 : " +<span style="color: #000000;"> context); </span><span style="color: #0000ff;">this</span>.rabbitTemplate.setConfirmCallback(<span style="color: #0000ff;">this</span><span style="color: #000000;">); </span><span style="color: #008000;">//</span><span style="color: #008000;">exchange,queue 都正确,confirm被回调, ack=true </span><span style="color: #008000;">//</span><span style="color: #008000;">this.rabbitTemplate.convertAndSend("exchange","topic.message", context); </span><span style="color: #008000;">//</span><span style="color: #008000;">exchange 错误,queue 正确,confirm被回调, ack=false </span><span style="color: #008000;">//</span><span style="color: #008000;">this.rabbitTemplate.convertAndSend("fasss","topic.message", context); </span><span style="color: #008000;">//</span><span style="color: #008000;">exchange 正确,queue 错误 ,confirm被回调, ack=true; return被回调 replyText:NO_ROUTE </span><span style="color: #008000;">//</span><span style="color: #008000;">this.rabbitTemplate.convertAndSend("exchange","", context); </span><span style="color: #008000;">//</span><span style="color: #008000;">exchange 错误,queue 错误,confirm被回调, ack=false</span> <span style="color: #0000ff;">this</span>.rabbitTemplate.convertAndSend("fasss","fass"<span style="color: #000000;">, context); } @Override </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">void</span> confirm(CorrelationData correlationData, <span style="color: #0000ff;">boolean</span><span style="color: #000000;"> ack, String cause) { System.out.println(</span>"confirm--:correlationData:"+correlationData+",ack:"+ack+",cause:"+<span style="color: #000000;">cause); }
}
2.消息队列丢数据
处理消息队列丢数据的情况,一般是开启持久化磁盘的配置。这个持久化配置可以和confirm机制配合使用,你可以在消息持久化磁盘后,再给生产者发送一个Ack信号。这样,如果消息持久化磁盘 之前,rabbitMQ阵亡了,那么生产者收不到Ack信号,生产者会自动重发。 那么如何持久化呢,这里顺便说一下吧,其实也很容易,就下面两步 ①、将queue的持久化标识durable设置为true,则代表是一个持久的队列 ②、发送消息的时候将deliveryMode=2 这样设置以后,rabbitMQ就算挂了,重启后也能恢复数据。在消息还没有持久化到硬盘时,可能服务已经死掉,这种情况可以通过引入mirrored-queue即镜像队列,但也不能保证消息百分百不丢 失(整个集群都挂掉)
/** * 第二个参数:queue的持久化是通过durable=true来实现的。 * 第三个参数:exclusive:排他队列,如果一个队列被声明为排他队列,该队列仅对首次申明它的连接可见,并在连接断开时自动删除。这里需要注意三点:
1. 排他队列是基于连接可见的,同一连接的不同信道是可以同时访问同一连接创建的排他队列;
2.“首次”,如果一个连接已经声明了一个排他队列,其他连接是不允许建立同名的排他队列的,这个与普通队列不同;
3.即使该队列是持久化的,一旦连接关闭或者客户端退出,该排他队列都会被自动删除的,这种队列适用于一个客户端发送读取消息的应用场景。 * 第四个参数:自动删除,如果该队列没有任何订阅的消费者的话,该队列会被自动删除。这种队列适用于临时队列。 * @param * @return * @Author zxj */ @Bean public Queue queue() { Map<String, Object> arguments = new HashMap<>(); arguments.put("x-message-ttl", 25000);//25秒自动删除 Queue queue = new Queue("topic.messages", true, false, true, arguments); return queue; }
MessageProperties properties=new MessageProperties(); properties.setContentType(MessageProperties.DEFAULT_CONTENT_TYPE); properties.setDeliveryMode(MessageProperties.DEFAULT_DELIVERY_MODE);//持久化设置 properties.setExpiration("2018-12-15 23:23:23");//设置到期时间 Message message=new Message("hello".getBytes(),properties); this.rabbitTemplate.sendAndReceive("exchange","topic.message",message);
3.消费者丢数据
启用手动确认模式可以解决这个问题
①自动确认模式,消费者挂掉,待ack的消息回归到队列中。消费者抛出异常,消息会不断的被重发,直到处理成功。不会丢失消息,即便服务挂掉,没有处理完成的消息会重回队列,但是异常会让
消息不断重试。
②手动确认模式
③不确认模式,acknowledge="none" 不使用确认机制,只要消息发送完成会立即在队列移除,无论客户端异常还是断开,只要发送完就移除,不会重发。
指定Acknowledge的模式: spring.rabbitmq.listener.direct.acknowledge-mode=manual,表示该监听器手动应答消息 针对手动确认模式,有以下特点: 1.使用手动应答消息,有一点需要特别注意,那就是不能忘记应答消息,因为对于RabbitMQ来说处理消息没有超时,只要不应答消息,他就会认为仍在正常处理消息,导致消息队列出现阻塞,影响
业务执行。 2.如果消费者来不及处理就死掉时,没有响应ack时,会项目启动后会重复发送一条信息给其他消费者; 3.可以选择丢弃消息,这其实也是一种应答,如下,这样就不会再次收到这条消息。 channel.basicNack(message.getMessageProperties().getDeliveryTag(), false,false);
4.如果消费者设置了手动应答模式,并且设置了重试,出现异常时无论是否捕获了异常,都是不会重试的
5.如果消费者没有设置手动应答模式,并且设置了重试,那么在出现异常时没有捕获异常会进行重试,如果捕获了异常不会重试。
重试机制:
spring.rabbitmq.listener.simple.retry.max-attempts=5 最大重试次数 spring.rabbitmq.listener.simple.retry.enabled=true 是否开启消费者重试(为false时关闭消费者重试,这时消费端代码异常会一直重复收到消息) spring.rabbitmq.listener.simple.retry.initial-interval=5000 重试间隔时间(单位毫秒) spring.rabbitmq.listener.simple.default-requeue-rejected=false 重试次数超过上面的设置之后是否丢弃(false不丢弃时需要写相应代码将该消息加入死信队列)
如果设置了重试模式,那么在出现异常时没有捕获异常会进行重试,如果捕获了异常不会重试。
当出现异常时,我们需要把这个消息回滚到消息队列,有两种方式:
//ack返回false,并重新回到队列,api里面解释得很清楚
//ack返回false,并重新回到队列,api里面解释得很清楚 channel.basicNack(message.getMessageProperties().getDeliveryTag(), false, true); //拒绝消息 channel.basicReject(message.getMessageProperties().getDeliveryTag(), true);
经过开发中的实际测试,当消息回滚到消息队列时,这条消息不会回到队列尾部,而是仍是在队列头部,这时消费者会立马又接收到这条消息进行处理,接着抛出异常,进行 回滚,如此反复进行。这种情况会导致消息队列处理出现阻塞,消息堆积,导致正常消息也无法运行。对于消息回滚到消息队列,我们希望比较理想的方式时出现异常的消息到 达消息队列尾部,这样既保证消息不会丢失,又保证了正常业务的进行,因此我们采取的解决方案是,将消息进行应答,这时消息队列会删除该消息,同时我们再次发送该消息 到消息队列,这时就实现了错误消息进行消息队列尾部的方案。
//手动进行应答 channel.basicAck(message.getMessageProperties().getDeliveryTag(), false); //重新发送消息到队尾 channel.basicPublish(message.getMessageProperties().getReceivedExchange(), message.getMessageProperties().getReceivedRoutingKey(), MessageProperties.PERSISTENT_TEXT_PLAIN, JSON.toJSONBytes(new Object()));
如果一个消息体本身有误,会导致该消息体,一直无法进行处理,而服务器中刷出大量无用日志。解决这个问题可以采取两种方案:
1.一种是对于日常细致处理,分清哪些是可以恢复的异常,哪些是不可以恢复的异常。对于可以恢复的异常我们采取第三条中的解决方案,对于不可以处理的异常,我们采用记录日志,直接丢弃该消息方案。
2.另一种是我们对每条消息进行标记,记录每条消息的处理次数,当一条消息,多次处理仍不能成功时,处理次数到达我们设置的值时,我们就丢弃该消息,但需要记录详细的日志。
消息监听内的异常处理有两种方式:
1.内部catch后直接处理,然后使用channel对消息进行确认
①catch异常后,手动发送到指定队列,然后使用channel给rabbitmq确认消息已消费
②给Queue绑定死信队列,使用nack(requque为false)确认消息消费失败
</div>
<p class="postfoot">
posted on <span id="post-date">2018-11-18 10:47</span> <a href='https://www.cnblogs.com/tinyj/'>撸码识途</a> 阅读(<span id="post_view_count">...</span>) 评论(<span id="post_comment_count">...</span>) <a href ="https://i.cnblogs.com/EditPosts.aspx?postid=9977205" rel="nofollow">编辑</a> <a href="#" onclick="AddToWz(9977205);return false;">收藏</a>
</p>
</div>
<script type="text/javascript">var allowComments=true,cb_blogId=466440,cb_entryId=9977205,cb_blogApp=currentBlogApp,cb_blogUserGuid='8b01cd5f-040f-4a4b-1963-08d62da8ffcd',cb_entryCreatedDate='2018/11/18 10:47:00';loadViewCount(cb_entryId);var cb_postType=1;var isMarkdown=false;</script>
</div><a name="!comments"></a><div id="blog-comments-placeholder"></div><script type="text/javascript">var commentManager = new blogCommentManager();commentManager.renderComments(0);</script>
导航
<a id="Footer1_Hyperlink3" NAME="Hyperlink1" href="https://www.cnblogs.com/" style="font-family:Verdana;font-size:12px;">博客园</a>
<br />
Copyright © 撸码识途
推荐阅读
-
详解如何解决vue开发请求数据跨域的问题(基于浏览器的配置解决)
-
使用wordpress的$wpdb类读mysql数据库做ajax时出现的问题该如何解决
-
win7系统安装2个mysql版本后连接不上数据库的问题如何解决?
-
Oracle数据库查找第n行(n>=2)时使用rownum查不到的问题如何解决?
-
IDEA,maven运行时缺少junit啊,servlet啊各种包,但是自己设置的仓库中明明有啊,这种问题如何解决
-
scrapy 中如何爬取json数据,并解决加载慢的问题
-
达梦数据库如何解决sql卡住的问题
-
详解如何解决vue开发请求数据跨域的问题(基于浏览器的配置解决)
-
Oracle数据库因长期开启,出现不能使用pl/sql登录,远程链接提示没有监听程序的问题如何解决?
-
常见的移动web问题,终端触摸交互,各种bug坑如何解决