欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

jdk8 HashMap源码解读(数学思想),亲自造数据实验其原理*(੭*ˊᵕˋ)੭*ଘ(持续更新中)

程序员文章站 2022-03-14 19:16:50
...

掘金同步更新中

前言

这个HashMap底层源码,加上这次写博文,再加上我前面分析了ConcurrentHashMap的put,扩容,计数,我已经看hashMap原理看了4遍了,每次一看就好几天。我真的每看一次,都有新的大收获啊!!!作为一个技术控的妹子,哇╰(°▽°)╯,sun公司的大神真的好厉害,仰慕!!!

概述

HashMap是一种数组加链表形式的结构,跟准确的说是一个线程不安全链表数组结构。适合存放key-value键值对,做等值查找。
jdk8 HashMap源码解读(数学思想),亲自造数据实验其原理*(੭*ˊᵕˋ)੭*ଘ(持续更新中)

java8及之后的改变

  在java1.8之后,将HashMap做了优化。
  首先,当链表节点个数大于8个以后,会将链表转换为一棵红黑树。至于为什么是8个,源码中的注释说,是做了大量随机数测试。
  而后,就是面试经常喜欢问的,在多线程的情况下,HashMap会有什么缺陷。在java8之前,标准答案就是形成循环链表。java8及之后,对这个缺陷做了优化。
  在java8之前,扩容时,直接对所有的节点rehash(重新计算下标值),使用e.hashCode&(newTabLength-1)得到一个在新数组里的新下标。这种方式在多线程的情况下,存在隐患,会形成循环链。

jdk8 HashMap源码解读(数学思想),亲自造数据实验其原理*(੭*ˊᵕˋ)੭*ଘ(持续更新中)
 
  那么在什么情况下会出现这种情况?
  线程1,发现 size*local_factory(扩容因子0.75)>=tab.length, 准备开始扩容。这时线程1这一段的时间片执行完,让出cpu。
  线程2获得了cpu,也发现可以触发扩容了,创建一个新的数组(ps:新数组当前独属于当前线程内存)。开始对所有的节点进行rehash。
  期间可能由于时间片执行完,而让出cpu执行权。线程1,获取cpu执行权,两条线程交替执行。
  当线程1,对原数组中的i位置的链表进行rehash,此时该链表是这样的

jdk8 HashMap源码解读(数学思想),亲自造数据实验其原理*(੭*ˊᵕˋ)੭*ଘ(持续更新中)

  这时,线程1时间片执行完,线程2获得cpu,也对这条链表进行rehash之后,放到新数组,得到将B放到了链头,即B.next=A,A的next指向还没来得及改,于是A.next还是指向B。在要改的关键时刻,其它线程获取cpu执行权,它这时来看链表,已经变成这个样子了。

jdk8 HashMap源码解读(数学思想),亲自造数据实验其原理*(੭*ˊᵕˋ)੭*ଘ(持续更新中)

形成了一条循环链表。如果是做查找操作,那就完蛋了,一直循环在这里。rehash的时候,刚rehash完A,然后rehash A.next(B),之后rehash B.next,没错又是A。。。 ㄟ( ▔, ▔ )ㄏ
  java8的时候,对这个缺陷做了修改。不再是逐个rehash节点,对原数组i位置的链表节点依次进行 e.hash & oldCap(原数组长度) 结果等于1的组成一条链表放到新数组i+oldCap位置。结果等于0的组成一条链表放到新数组i位置。这样就避免了循环链表的出现。

jdk8 HashMap源码解读(数学思想),亲自造数据实验其原理*(੭*ˊᵕˋ)੭*ଘ(持续更新中)

HashMap源码中用到的运算

&:按位与
 1 1 0 1 0 1
& 1 0 0 1 0 1
———————
 1 0 0 1 0 1

|:按位或
   1 0 1 1 0 1 0
 | 1 1 0 1 1 0 0
————————
   1 1 1 1 1 1 0
^:按位异或
 1 0 1 1 0 1 0
^ 1 0 0 1 1 0 0
————————
 0 1 0 0 1 1 0
>>>:无符号右移
10000(16)>>>2 = 100(4)
<<:左移
100(4)<< 2 = 10000(16)

源码解析

  接下开始我们的源码解析啦( ̄︶ ̄)↗

构造方法

  无参构造方法

    public HashMap() {
        //设置扩容因子为默认扩容因子0.75
        this.loadFactor = DEFAULT_LOAD_FACTOR; 
    }

  有参构造方法

    /**
     * initialCapacity 元素可能的个数
     * loadFactor 扩容因子
    */ 
    public HashMap(int initialCapacity, float loadFactor) {
        if (initialCapacity < 0)
            throw new IllegalArgumentException("Illegal initial capacity: " +
                                               initialCapacity);
        //如果元素个数超过默认最大容量,替换为最大容量 
        if (initialCapacity > MAXIMUM_CAPACITY)
            initialCapacity = MAXIMUM_CAPACITY;
        if (loadFactor <= 0 || Float.isNaN(loadFactor))
            throw new IllegalArgumentException("Illegal load factor: " +
                                               loadFactor);
        this.loadFactor = loadFactor;
        //初始化阈值,tableSize方法会返回一个略大于initialCapacity的一个2^n的值
        this.threshold = tableSizeFor(initialCapacity);
    }

tableSizeFor方法,根据参数cap,计算一个略大于cap的2^n的数

/**
* cap元素个数 
* |= :先按位或再赋值
* >>> :无符号右移
*/
static final int tableSizeFor(int cap) {
        //因为cap可能是2^n,减一之后变成111...111,使得二进制数中尽量多一些1.
        int n = cap - 1;
        //任何数的二进制最高位一定是1,所以n>>>1右移之后最高位也是,进行 | 运算,如下:
        /**   100...00(n)
        *   | 0100...0(n>>>1)
        *——————————————
        * =   110....0
        * 得到最高两位一定是1的数
        */
        n |= n >>> 1;
        /**
        * n=110....0  
        *   110....0(n)
        * | 00110...(n>>>2)  
        * ————————————————————
        *   11110....   
        * 得到最高的四位是1的数
        */
        n |= n >>> 2;
        /**
        * 同上
        */
        n |= n >>> 4;
        /**
        * 同上
        */
        n |= n >>> 8;
        /**
        * 同上,因为数组最大长度是32,所以右移到16位已经够了
        */
        n |= n >>> 16;
        //最终得到一个二进制全是1的数
        return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}

hash 计算key的hash值,返回的值用于与数组长度做运算得出存放的下标位置

将key的hashcode值与hashcode>>>16进行异或运算
原因:
  将高16位与低16位进行异或运算,尽量打乱16位。一般数组长度不会超过16位二进制,数组长度都那么大,那么占用的内存也比较大了,还不如别放内存里。
  本人也本着实验的精神,稍微实验了一下:
  hashcode & (tab.length-1)(hashcode ^ (hashcode>>>16)) & (tab.length-1) 分别得出的下标 ↓
  hashcode & (tab.length-1):
  key=hella;index=4   key=abcde;index=3   key=asdfg;index=3 (一对碰撞)
  key=world;index=2   key=yuics;index=13   key=bkjsd;index=2 (一对碰撞)
  key=world;index=2   key=yuics;index=13   key=bkjsd;index=2   key=dhjah;index=13 (两对碰撞)
  (hashcode ^ (hashcode>>>16)) & (tab.length-1) :
  key=hella;index=13   key=abcde;index=7   key=asdfg;index=15 (没有碰撞)
  key=world;index=3   key=yuics;index=2   key=bkjsd;index=5 (没有碰撞)
  key=world;index=3   key=yuics;index=2   key=bkjsd;index=5   key=dhjah;index=15 (没有碰撞)
  可以粗略验证合并高位影响可以减少碰撞率


    static final int hash(Object key) {
        int h;
        return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
    }

putVal

putVal方法主要做的事是:
1.检查数组是否初始化;否,初始化数组长度为2^n
  这里可能就有两个考点了:
  (1)为什么hashMap的数组一定是2^n ?
  (2)为什么hashMap每次扩容是原来长度的2倍 ?
  这两个可以一并回答。目的是为了,防溢出,减少碰撞。
  首先我们从hashMap计算存放下标位置的方式开始说起,(len-1)&hash,可能乍一看迷惑不解。其实用数学来等价替换一下就是 hash%len 即求hash除数组长度的余数。
  那为啥是求余数呢?
  假设数组长len=16,hash=34,hash超出了数组长度。怎么办?
  我们对它们进行求余运算,hash%len=2,哦~( •̀ ω •́ )y 放到下标为2的位置。所以对长度求余运算,得到值的范围是0~(len-1),永远不会超出下标值范围。=>由此可得,(len-1)&hash 做 & 是为了防溢出
  那为什么len必须是2^n
  由上面可知,为了防溢出,必须是(len-1)&hash。所以接下来,要解决得是减少碰撞。 可以转化成数学来解释
  设a,b为集合{0,1}中的一个数,求a&b的值。
  ①令a=1,则有当b=0时,a&b=0;有当b=1时,a
&b=1;两种结果{0,1}
  ②令a=0,则有当b=0时,a&b=0;有当b=1时,a&b=0;只有一种结果{0}
  所以由上题可知,a&b运算中,只要有一方的值为1,则运算之后的可能的结果多一些。
  所以,要想减少碰撞,即(len-1)&hash的结果可能性多一些,必须其中一个的二进制每一位都是1。hash变化比较大,没法控制;len-1相对固定,可以控制它是111…11这种形式。
  由于11…11=2^n -1,比如1111=2^4 -1=15;
  由此可知 len-1 = 2^n -1; len=2^n; <( ̄︶ ̄)↗ 所以答案出来了。
  由上述可知,每次扩容的长度得是2^n ,每次扩大2倍,是不是就是2^(n+1) 保持了它是2的幂次方

    /**
     * Implements Map.put and related methods.
     *
     * @param hash hash for key key的hash值
     * @param key the key 
     * @param value the value to put 要put的value
     * @param onlyIfAbsent if true, don't change existing value 如果为true,则代表如果value相同不覆盖
     * @param evict if false, the table is in creation mode. 如果参数为false,这个数组处于创建模式
     * @return previous value, or null if none
     */
    final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
                   boolean evict) {
        Node<K,V>[] tab; Node<K,V> p; int n, i;
        //如果当前数组还未初始化
        if ((tab = table) == null || (n = tab.length) == 0)
            //调用resize()方法,也是扩容的方法,初始化数组,数组长度必然是2^n
            n = (tab = resize()).length;
        /**
        * n数组长度;
        * 若当前数组i位置没有元素存放,直接构建一个node存放进去
        */
        if ((p = tab[i = (n - 1) & hash]) == null)
            tab[i] = newNode(hash, key, value, null);
        else {//数组i位置有元素
            //e:tab[i]中相同节点
            Node<K,V> e; K k;
            //若tab[i]的链表头节点与要添加的新元素hash值和key相等,不需要插入操作,后续判断是否需要覆盖value
            if (p.hash == hash &&
                ((k = p.key) == key || (key != null && key.equals(k))))
                e = p;
            //tab[i]位置是一颗红黑树节点,调用插入红黑树节点方法,有相同节
            //点,则返回节点;没有则插入
            else if (p instanceof TreeNode)
                e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
            else {//tab[i]位置是一个直线链表型节点
                /**
                *查找链表中是否有与新节点相同hash、key节点,有,后续判断是
                *否需要覆盖value;
                *没有:
                *将新节点插入到链表最后,并判断是否需要转换成红黑树
                */
                for (int binCount = 0; ; ++binCount) {
                    if ((e = p.next) == null) {
                        p.next = newNode(hash, key, value, null);
                        if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                            treeifyBin(tab, hash);
                        break;
                    }
                    if (e.hash == hash &&
                        ((k = e.key) == key || (key != null && key.equals(k))))
                        break;
                    p = e;
                }
            }
            //若链表/红黑树中有相同节点,根据参数判断是否需要覆盖value
            if (e != null) { // existing mapping for key
                V oldValue = e.value;
                if (!onlyIfAbsent || oldValue == null)
                    e.value = value;
                afterNodeAccess(e);
                return oldValue;
            }
        }
        //HashMap修改次数加1
        ++modCount;
        if (++size > threshold)
            resize();
        //LinkedHashMap子类实现的方法,插入后的回调,创建者模式
        afterNodeInsertion(evict);
        return null;
    }

resize扩容

1.这个在1.7及之前最喜欢问的就是,上面讲过的循环链表的问题。
2.新数组长度=原数组长度<< 1
3.1为了解决循环链表的问题,直接对直线型链表进行分类拆分。
  方法:
  将节点的hash值与原数组长度进行**&**运算,只会得到两种结果:
{0,oldCap},即0和原数组长度。可以验证下 ↓

  数组长度为2^n(100…00),至于hash值,分成两种情况:
  ① hash二进制数按位对应数组长度二进制数(100…0)的最高位都是1
  => hash:   1 x x x x 1 x x x x
   oldCap:& 0 0 0 0 0 1 0 0 0 0
     ————————————
        0 0 0 0 0 1 0 0 0 0 => oldCap
  ② hash二进制数按位对应数组长度二进制数(100…0)的最高位一个0一个1
  => hash:   1 x x x x 0 x x x x
   oldCap:& 0 0 0 0 0 1 0 0 0 0
     ————————————
        0 0 0 0 0 0 0 0 0 0 => 0
  由上可得,经过 hash&oldCap 运算可分成两类。

3.2 将3.1计算结果为oldCap节点组合成一条链表,直接放到新数组的i+oldCap位置。
  那么问题来了,为什么要直接放到i+oldCap?
  作为一个理科女,我最喜欢找规律。然后就拿一个具体的数字计算了下,我明白了规律。果然sun公司大神!!!我真的忍不住仰慕!!!还是跟数学相关,当然不是高等数学。
以下我随便拿了一个数找的规律

jdk8 HashMap源码解读(数学思想),亲自造数据实验其原理*(੭*ˊᵕˋ)੭*ଘ(持续更新中)
由上面的规律我也突然明白了为什么他拆分的时候要以hash & oldCap方式来区分了。
待续

    final Node<K,V>[] resize() {
        Node<K,V>[] oldTab = table;
        //原数组的长度
        int oldCap = (oldTab == null) ? 0 : oldTab.length;
        //原数组的阈值
        int oldThr = threshold;
        int newCap, newThr = 0;
        //数组已经初始化了
        if (oldCap > 0) {
            //如果原数组的长度大于等于hashMap最大的容量大小
            if (oldCap >= MAXIMUM_CAPACITY) {
                threshold = Integer.MAX_VALUE;
                return oldTab;
            }
            //如果新数组长度小于最大值 1<<30 并且大于等于默认初始值 1<<4
            else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                     oldCap >= DEFAULT_INITIAL_CAPACITY)
                //计算新阈值,原阈值<<1
                newThr = oldThr << 1; // double threshold
        }
        //如果原数组尚未初始化,但阈值已有值,设置数组长度为旧阈值
        else if (oldThr > 0) // initial capacity was placed in threshold
            newCap = oldThr;
        else {               // zero initial threshold signifies using defaults
            //数组为初始化,阈值也未初始化,设置为默认值
            newCap = DEFAULT_INITIAL_CAPACITY;
            newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
        }
        //如果新阈值尚未赋值,使用newCap乘扩容因子得出新的阈值
        if (newThr == 0) {
            float ft = (float)newCap * loadFactor;
            newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                      (int)ft : Integer.MAX_VALUE);
        }
        threshold = newThr;
        //创建新数组,并将table的引用指向新数组
        @SuppressWarnings({"rawtypes","unchecked"})
            Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
        //注:table没有用volidate关键字修饰,其他线程检测不到table引用的变化
        table = newTab;
        if (oldTab != null) {
            //循环读取原数组
            for (int j = 0; j < oldCap; ++j) {
                Node<K,V> e;
                if ((e = oldTab[j]) != null) {
                    //置空就数组的引用
                    oldTab[j] = null;
                    //如果该链表只有一个头节点,直接重新计算一遍下标
                    if (e.next == null)
                        newTab[e.hash & (newCap - 1)] = e;
                    //如果是一颗红黑树
                    else if (e instanceof TreeNode)
                        ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                    //如果是一条直线型链表,直接拆分成两条链表
                    else { // preserve order
                        Node<K,V> loHead = null, loTail = null;
                        Node<K,V> hiHead = null, hiTail = null;
                        Node<K,V> next;
                        /**
                        * 拆分链表
                        * 拆分方法:
                        * 节点哈希值与旧数组长度进行&运算,数组长度
                        */
                        do {
                            next = e.next;
                            if ((e.hash & oldCap) == 0) {
                                if (loTail == null)
                                    loHead = e;
                                else
                                    loTail.next = e;
                                loTail = e;
                            }
                            else {
                                if (hiTail == null)
                                    hiHead = e;
                                else
                                    hiTail.next = e;
                                hiTail = e;
                            }
                        } while ((e = next) != null);
                        if (loTail != null) {
                            loTail.next = null;
                            newTab[j] = loHead;
                        }
                        if (hiTail != null) {
                            hiTail.next = null;
                            newTab[j + oldCap] = hiHead;
                        }
                    }
                }
            }
        }
        return newTab;
    }
相关标签: 源码解析