分布式系统小知识：Apche Storm可靠性机制里为什么要采用异或来判断消息得到完整性处理? 博客分类： storm大数据 storm
程序员文章站
2024-03-17 22:26:46
...
想起这个问题,是因为知乎上有人提问
storm采用异或的方式来判断消息被完整处理,网上已经有很多介绍了,但是按照这个提问者的描述,为什么它要用异或而不是计数器呢?
这是分布式系统需要考虑异步网络传输模型的原因.acker接收bolt的顺序是不确定的,用来异或的随机数可以认为是一一对应的,就像一把钥匙开一把锁.如果发送的是+1,-1这样的增量,则很容易出现重复,如果acker接收的顺序不是按物理时间顺序,则可能出现tuple的提前ack.
理想的顺序可能是+1,+1,-1,-1,一旦变成了+1,-1,+1,-1,那么第二个数字接收后,message就被ack了.异或则不用担心这个问题
storm采用异或的方式来判断消息被完整处理,网上已经有很多介绍了,但是按照这个提问者的描述,为什么它要用异或而不是计数器呢?
这是分布式系统需要考虑异步网络传输模型的原因.acker接收bolt的顺序是不确定的,用来异或的随机数可以认为是一一对应的,就像一把钥匙开一把锁.如果发送的是+1,-1这样的增量,则很容易出现重复,如果acker接收的顺序不是按物理时间顺序,则可能出现tuple的提前ack.
理想的顺序可能是+1,+1,-1,-1,一旦变成了+1,-1,+1,-1,那么第二个数字接收后,message就被ack了.异或则不用担心这个问题