深入学习java ThreadLocal的源码知识
简介
threadlocal是每个线程自己维护的一个存储对象的数据结构,线程间互不影响实现线程封闭。一般我们通过threadlocal对象的get/set方法存取对象。
源码分析
threadlocal的set方法源码如下
public void set(t value) { thread t = thread.currentthread(); threadlocalmap map = getmap(t); // 根据当前线程获得threadlocalmap对象 if (map != null) map.set(this, value); // 如果有则set else createmap(t, value); // 否则创建threadlocalmap对象 } threadlocalmap getmap(thread t) { return t.threadlocals; } void createmap(thread t, t firstvalue) { t.threadlocals = new threadlocalmap(this, firstvalue); }
通过getmap方法,可见我们返回的map实际上是thread对象的threadlocals属性。而这个threadlocalmap就是用来存储数据的结构。
threadlocalmap介绍
threadlocalmap是threadlocal的核心,定义在threadlocal类里的内部类,他维护了一个enrty数组。threadlocal存/取数据都是通过操作enrty数组来实现的。
enrty数组作为一个哈希表,将对象通过开放地址方法散列到这个数组中。作为对比,hashmap则是通过链表法将对象散列到数组中。
开放地址法就是元素散列到数组中的位置如果有冲突,再以某种规则在数组中找到下一个可以散列的位置,而在threadlocalmap中则是使用线性探测的方式向后依次查找可以散列的位置。
enery介绍
enery在这里我们称之为元素,是散列表中维护的对象单元。
// 哈希映射表中的元素使用其引用字段作为键(它始终是threadlocal对象)继承weakreference。 // 注意,null键(即entry.get()== null)表示不再引用该键,因此可以从表中删除该元素。 // 这些元素在下面的代码中称为“旧元素”。 // 这些“旧元素”就是脏对象,因为存在引用不会被gc, // 为避免内存泄露需要代码里清理,将引用置为null,那么这些对象之后就会被gc清理。 // 实际上后面的代码很大程度上都是在描述如何清理“旧元素”的引用 static class entry extends weakreference<threadlocal<?>> { object value; entry(threadlocal<?> k, object v) { super(k); value = v; } }
到这里可能有两个疑问
1、既然要存储的内容是线程独有的对象,为什么不直接在thread里设置一个属性直接存储该对象?或者说为什么要维护一个entry散列表来存储内容并以threadlocal对象作为key?
答:一个threadlocal对象只属于一个线程,但一个线程可以实例化threadlocal对象。而threadlocalmap维护的数组存储的就是以threadlocal实例作为key的entry对象。
2、threadlocalmap中的enery为什么要继承weakreference?
答:首先弱引用会在threadlocal对象不存在强引用的情况,弱引用对象会在下次gc时被清除。
将threadlocal对象作为弱引用目的是为了防止内存泄露。
假设enery的key不是弱引用,即使在我们的代码里threadlocal引用已失效,threadlocal也不会被gc,因为当前线程持有threadlocalmap的引用,而threadlocalmap持有entry数组的引用,entry对象的key又持有threadlocal的引用,threadlocal对象针对当前线程可达,所以不会被gc。
而enery的key值threadlocal作为弱引用,在引用失效时会被gc。但即使threadlocal做为弱引用被gc清理,entry[]还是存在entry对象,只是key为null,vlue对象也还存在,这些都是脏对象。弱引用不单是清理了threadlocal对象,它的另一层含义是可以标识出enery[]数组中哪些元素应该被gc(我们这里称为旧元素),然后程序里找出这些entry并清理。
threadlocalmap的set方法
回到前面提到的set方法,当map不为null时会调用threadlocalmap的set方法。
threadlocalmap的set方法描述了如何将值散列到哈希表中,是开放地址法以线性探测方式散列的实现。在成功set值之后,尝试清理一些旧元素,如果没有发现旧元素则判断阈值,确认哈希表是否足够大、是否需要扩容。如果哈希表过于拥挤,get/set值会发生频繁的冲突,这是不期望的情况。threadlocalmap的set方法代码及详细注释如下
private void set(threadlocal<?> key, object value) { // we do not use a fast path as with get() because it is at // least as common to use set() to create new entries as // it is to replace existing ones, in which case, a fast // path would fail more often than not. // 我们不像get()那样先使用快速路径(直接散列)判断 // 因为使用set()创建新元素至少与替换现有元素一样频繁,在这种情况下,散列后立刻判断会容易失败。 // 所以直接先线性探测 entry[] tab = table; int len = tab.length; // 根据hashcode散列到数组位置 int i = key.threadlocalhashcode & (len-1); // 开放地址法处理散列冲突,线性探测找到可以存放位置 // 遍历数组找到下一个可以存放元素的位置,这种位置包含三种情况 // 1.元素的key已存在,直接赋值value // 2.元素的key位null,说明k作为弱引用被gc清理,该位置为旧数据,需要被替换 // 3.直到遍历到一个数组位置为null的位置赋值 for (entry e = tab[i]; e != null; e = tab[i = nextindex(i, len)]) { threadlocal<?> k = e.get(); if (k == key) {//key已存在则直接更新 e.value = value; return; } if (k == null) { //e不为null但k为null说明k作为弱引用被gc,是旧数据需要被清理 // i为旧数据位置,清理该位置并依据key合理地散列或将value替换到数组中 // 然后重新散列i后面的元素,并顺便清理i位置附近的其他旧元素 replacestaleentry(key, value, i); return; } } // 遍历到一个数组位置为null的位置赋值 tab[i] = new entry(key, value); int sz = ++size; // 调用cleansomeslots尝试性发现并清理旧元素,如果没有发现且旧元素当前容量超过阈值,则调用rehash if (!cleansomeslots(i, sz) && sz >= threshold) // 此时认为表空间不足,全量遍历清理旧元素,清理后判断容量若大于阈值的3/4,若是则扩容并从新散列 rehash(); }
replacestaleentry方法
replacestaleentry方法是当我们线性探测时,如果碰到了旧元素就执行。该方法做的事情比较多,可以总结为我们在staleslot位置发现旧元素,将新值覆盖到staleslot位置上并清理staleslot附近的旧元素。“附近”指的是staleslot位置前后连续的非null元素。代码及详细注释如下
private void replacestaleentry(threadlocal<?> key, object value, int staleslot) { entry[] tab = table; int len = tab.length; entry e; // back up to check for prior stale entry in current run. // we clean out whole runs at a time to avoid continual // incremental rehashing due to garbage collector freeing // up refs in bunches (i.e., whenever the collector runs). // 向前检查是否存在旧元素,一次性彻底清理由于gc清除的弱引用key导致的旧数据,避免多次执行 int slottoexpunge = staleslot; // 向前遍历找到entry不为空且key为null的位置赋值给slottoexpunge for (int i = previndex(staleslot, len); (e = tab[i]) != null; i = previndex(i, len)) if (e.get() == null) slottoexpunge = i; // find either the key or trailing null slot of run, whichever // occurs first // staleslot位置向后遍历如果位置不为空,判断key是否已经存在 // 回想前面我们是set实例的时候,碰到旧元素的情况下调用该方法,所以很可能在staleslot后面key是已经存在的 for (int i = nextindex(staleslot, len); (e = tab[i]) != null; i = nextindex(i, len)) { threadlocal<?> k = e.get(); // if we find key, then we need to swap it // with the stale entry to maintain hash table order. // the newly stale slot, or any other stale slot // encountered above it, can then be sent to expungestaleentry // to remove or rehash all of the other entries in run. // 如果我们找到键,那么我们需要将它与旧元素交换以维护哈希表顺序。 // 然后可以将交换后得到的旧索引位置 // 或其上方遇到的任何其他旧索引位置传给expungestaleentry清理旧条 // 如果碰到key相同的值则覆盖value if (k == key) { e.value = value; // i位置与staleslot旧数据位置做交换,将数组元素位置规范化,维护哈希表顺序 // 这里维护哈希表顺序是必要的,举例来说,回想前面threadlocal.set实例的判断,是线性探测找到可以赋值的位置 // 如果哈希顺序不维护,可能造成同一个实例被赋值多次的情况 // 包括后面清理旧元素的地方都要重新维护哈希表顺序 tab[i] = tab[staleslot]; tab[staleslot] = e; // start expunge at preceding stale entry if it exists // 开始清理前面的旧元素 // 如果前面向前或向后查找的旧元素不存在,也就是slottoexpunge == staleslot //此时slottoexpunge = i,此时位置i的元素是旧元素,需要被清理 // slottoexpunge用来存储第一个需要被清理的旧元素位置 if (slottoexpunge == staleslot) slottoexpunge = i; // 清理完slottoexpunge位置及其后面非空连续位置后,通过调用cleansomeslots尝试性清理一些其他位置的旧元素 // cleansomeslots不保证清理全部旧元素,它的时间复杂度o(log2n),他只是全量清理旧元素或不清理的折中 cleansomeslots(expungestaleentry(slottoexpunge), len); return; } // if we do not find stale entry on backward scan, the // first stale entry seen while scanning for key is the // first still present in the run. // 如果前面向前查找的旧元素不存在,也就是slottoexpunge == staleslot,而此时位置i为旧元素,所以将i赋值给slottoexpunge // slottoexpunge用来存储第一个需要被清理的旧元素位置 if (k == null && slottoexpunge == staleslot) slottoexpunge = i; } // if key not found, put new entry in stale slot // 如果向后遍历非空entry都没有找到key,则直接赋值给当前staleslot旧元素位置 tab[staleslot].value = null; tab[staleslot] = new entry(key, value); // if there are any other stale entries in run, expunge them // 通过前面根据staleslot向前/向后遍历,如果发现有旧元素则清理 if (slottoexpunge != staleslot) // 清理完slottoexpunge位置及其后面非空连续位置后,通过调用cleansomeslots尝试性清理一些其他位置的旧元素 // cleansomeslots不保证清理全部旧元素,它的时间复杂度o(log2n),他只是全量清理旧元素或不清理的折中 cleansomeslots(expungestaleentry(slottoexpunge), len); }
expungestaleentry方法
查找到的旧元素都会执行expungestaleentry方法。expungestaleentry频繁被使用,它是清理旧元素的核心方法。该方法的做的事情就是:清理包括staleslot位置后面连续为空元素中的所有旧元素并重新散列,返回staleslot后面首个null位置。代码及详细注释如下
private int expungestaleentry(int staleslot) { entry[] tab = table; int len = tab.length; // expunge entry at staleslot // 清空staleslot位置的元素 tab[staleslot].value = null; tab[staleslot] = null; size--; // rehash until we encounter null // 旧位置清理后,后面的元素需要重新散列到数组里,直到遇到数组位置为null。即维护哈希顺序。 entry e; int i; for (i = nextindex(staleslot, len); (e = tab[i]) != null; i = nextindex(i, len)) { threadlocal<?> k = e.get(); if (k == null) { // k == null说明此位置也是旧数据,需要清理 e.value = null; tab[i] = null; size--; } else { int h = k.threadlocalhashcode & (len - 1); // 将staleslot后面不为空位置重新散列,如果与当前位置不同,则向前移动到h位置后面(包括h)的首个空位置 if (h != i) { tab[i] = null; // unlike knuth 6.4 algorithm r, we must scan until // null because multiple entries could have been stale. while (tab[h] != null) h = nextindex(h, len); tab[h] = e; } } } return i; }
cleansomeslots方法
cleansomeslots是一个比较灵动的方法。就如他的名字"some"一样。该方法只是尝试性地寻找一些旧元素。添加新元素或替换旧元素时都会调用此方法。它的执行复杂度log2(n),他是 “不清理”和“全量清理”的折中。若有发现旧元素返回true。代码及详细注释如下
private boolean cleansomeslots(int i, int n) { boolean removed = false; entry[] tab = table; int len = tab.length; do { i = nextindex(i, len); entry e = tab[i]; if (e != null && e.get() == null) { n = len; removed = true; i = expungestaleentry(i); } // n >>>= 1无符号右移1位,即移动次数以n的二进制最高位的1的位置为基准 // 所以时间复杂度log2(n) } while ( (n >>>= 1) != 0); return removed; }
rehash/expungestaleentries/resize方法
在成功set值后,通过阈值判断,如果程序认为表空间不足就会调用rehash方法。
rehash做了两件事,首先全量遍历清理旧元素,然后在清理后判断容量是否足够,若成立则2倍扩容并重新散列。
expungestaleentries则是全量清理旧元素,resize则是二倍扩容。
// rehash全量地遍历清理旧元素,然后判断容量若大于阈值的3/4,则扩容并从新散列 // 程序认为表空间不足时会调用该方法 private void rehash() { // 全量遍历清理旧元素 expungestaleentries(); // use lower threshold for doubling to avoid hysteresis // 适当的扩容,以避免hash散列到数组时过多的位置冲突 if (size >= threshold - threshold / 4) // 2倍扩容并重新散列 resize(); } // 全量遍历清理旧元素 private void expungestaleentries() { entry[] tab = table; int len = tab.length; for (int j = 0; j < len; j++) { entry e = tab[j]; if (e != null && e.get() == null) expungestaleentry(j); } } // 二倍扩容 private void resize() { entry[] oldtab = table; int oldlen = oldtab.length; int newlen = oldlen * 2; entry[] newtab = new entry[newlen]; int count = 0; for (int j = 0; j < oldlen; ++j) { entry e = oldtab[j]; if (e != null) { threadlocal<?> k = e.get(); if (k == null) { e.value = null; // help the gc } else { int h = k.threadlocalhashcode & (newlen - 1); while (newtab[h] != null) h = nextindex(h, newlen); newtab[h] = e; count++; } } } setthreshold(newlen); size = count; table = newtab; }
threadlocal的get方法
threadlocal的get逻辑相比set要简单的多。他只是将threadlocal对象散列到数组中,通过线性探测的方式找到匹配的值。代码及详细注释如下
public t get() { thread t = thread.currentthread(); threadlocalmap map = getmap(t); if (map != null) { threadlocalmap.entry e = map.getentry(this); if (e != null) { @suppresswarnings("unchecked") t result = (t)e.value; return result; } } // 如果map不为null初始化一个key为当前threadlocal值为null的threadlocalmap对象 return setinitialvalue(); } private entry getentry(threadlocal<?> key) { int i = key.threadlocalhashcode & (table.length - 1); entry e = table[i]; if (e != null && e.get() == key) return e; else // 直接散列找不到的情况,调用getentryaftermiss线性探测查找期望元素 return getentryaftermiss(key, i, e); } private entry getentryaftermiss(threadlocal<?> key, int i, entry e) { entry[] tab = table; int len = tab.length; // 线性探测找到符合的元素,若遇到旧元素则进行清理 while (e != null) { threadlocal<?> k = e.get(); if (k == key) return e; if (k == null) expungestaleentry(i); else i = nextindex(i, len); e = tab[i]; } return null; }
remove方法
remove即将引用清空并调用清理旧元素方法。所以remove不会产生旧元素,当我们确认哪些内容需要移除时优先使用remove方法清理,尽量不要交给gc处理。避免get/set发现旧元素的情况过多。
public void remove() { threadlocalmap m = getmap(thread.currentthread()); if (m != null) m.remove(this); } private void remove(threadlocal<?> key) { entry[] tab = table; int len = tab.length; int i = key.threadlocalhashcode & (len-1); for (entry e = tab[i]; e != null; e = tab[i = nextindex(i, len)]) { if (e.get() == key) { e.clear(); expungestaleentry(i); return; } } }
总结
threadlocal最大的复杂性在于如何处理旧元素,目的是为了避免内存泄露。
在新增或替换元素成功后,为了尽可能少地在get/set时发现有旧元素的情况,在清理旧元素后多次调用cleansomeslots尝试性地发现并清理一些旧元素,为了执行效率,“cleansome”是“no clean” 不清理和“clean all”全量清理之间一的种平衡。
expungestaleentry在清理自己位置上的旧元素的同时也会清理附近的旧元素,为得都是减少get/set发现旧元素的情况。即便如此,在哈希表容量过多时也会全量清理一遍旧元素并扩容。
当确认元素需要清除时,优先使用remove方法。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
上一篇: 后台设计可能遇到的问题(1)
下一篇: 跨站请求伪造CSRF