欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Consistent-Hash(一致性hash)-从sofa-registry谈起

程序员文章站 2024-03-19 21:27:40
...

SOFARegistry 简介

SOFARegistry 是蚂蚁金服开源的一个生产级、高时效、高可用的服务注册中心

功能特性

* 支持服务发布与服务订阅
* 支持服务变更时的主动推送
* 丰富的 REST 接口
* 采用分层架构及数据分片,支持海量连接及海量数据
* 支持多副本备份,保证数据高可用
* 基于 SOFABolt 通信框架,服务上下线秒级通知
* AP 架构,保证网络分区下的可用性

sofa-registry地址:https://github.com/sofastack/sofa-registry

从服务的注册与发现谈起

支持服务发布与服务订阅功能,依赖一致性hash算法, 其简介:参见:https://www.jianshu.com/p/e968c081f563

在解决分布式系统中负载均衡的问题时候可以使用Hash算法让固定的一部分请求落到同一台服务器上,这样每台服务器固定处理一部分请求(并维护这些请求的信息),起到负载均衡的作用。 但是普通的余数hash(hash(比如用户id)%服务器机器数)算法伸缩性很差,当新增或者下线服务器机器时候,用户id与服务器的映射关系会大量失效。一致性hash则利用hash环对其进行了改进。

核心代码参见:代码地址:[ConsistentHash.java](https://github.com/sofastack/sofa- registry/blob/master/server/consistency/src/main/java/com/alipay/sofa/registry/consistency/hash/ConsistentHash.java "ConsistentHash.java")

    private final SortedMap<Integer, T> circle = new TreeMap<>();

	/**
     * This returns the closest node for the object. If the object is the node it
     * should be an exact hit, but if it is a value traverse to find closest
     * subsequent node.
     * @param key the key 
     * @return node for
     */
    public T getNodeFor(Object key) {
        if (circle.isEmpty()) {
            return null;
        }
        int hash = hashFunction.hash(key);
        T node = circle.get(hash);

        if (node == null) {
            // inexact match -- find the next value in the circle
            SortedMap<Integer, T> tailMap = circle.tailMap(hash);
            hash = tailMap.isEmpty() ? circle.firstKey() : tailMap.firstKey();
            node = circle.get(hash);
        }
        return node;
    }

获取大于该node节点对应hash值的的hash环(tailMap方法)信息,即tailMap

  • 若tailMap不为空,则获取最近的一个node节点(firstKey() 方法)
  • 若tailMap为空,则获取hash环的第一个node节点(firstKey() 方法)
tailMap(K fromKey) 方法用于返回此映射,其键大于或等于fromKey的部分视图。
返回的映射受此映射支持,因此改变返回映射反映在此映射中,反之亦然。

虚拟节点

新的节点尝试注册进来,会调用addNode(T node)方法,同时会有虚拟节点存在

 /**
     * Add a new node to the consistent hash
     *
     * This is not thread safe.
     * @param node the node
     */
    private void addNode(T node) {
        realNodes.add(node);
        for (int i = 0; i < numberOfReplicas; i++) {
            // The string addition forces each replica to have different hash
            circle.put(hashFunction.hash(node.getNodeName() + SIGN + i), node);
        }
    }

TODO

转载于:https://my.oschina.net/u/3136014/blog/3083372