ConcurrentHashMap详解

2年前 (2022) 程序员胖胖胖虎阿
269 0 0

文章目录

  • 什么是ConcurrentHashMap
  • ConcurrentHashMap结构
    • 如何高效的执行并发操作
    • 如何进行锁的选择
    • Node节点类型与作用
    • 扩容的方式
  • 源码分析
    • putVal()方法
    • spread()方法,获取槽位。
    • initTable()方法,初始化容器
    • addCount() ,计算成员数量
      • transfer(),进行扩容
    • compute()

什么是ConcurrentHashMap

concurrentHashMap是一个支持高并发更新与查询的哈希表(基于HashMap)。
在保证安全的前提下,进行检索不需要锁定。与hashtable不同,该类不依赖于synchronization去保证线程操作的安全。

ConcurrentHashMap结构

根据上述,知道ConcurrentHashMap的目标,接下来就是看该目标需要解决哪些问题。
以put()方法为例:
● 计算出key的槽位
● 根据槽位类型进行操作(链表,红黑树)
● 根据槽位中成员数量进行数据转换,扩容等操作

回顾hashMap的数据结构:
ConcurrentHashMap详解

如何高效的执行并发操作

根据上面hashMap的数据结构可以直观的看到,如果以整个容器为一个资源进行锁定,那么就变为了串行操作。而根据hash表的特性,具有冲突的操作只会出现在同一槽位,而与其它槽位的操作互不影响。
基于此种判断,那么就可以将资源锁粒度缩小到槽位上,这样热点一分散,冲突的概率就大大降低,并发性能就能得到很好的增强。
ConcurrentHashMap详解

如何进行锁的选择

ConcurrentHashMap使用JUC包中通过直接操作内存中的对象,将比较与替换合并为一个原子操作的乐观锁形式(CAS)来进行简单的值替换操作,对于一些含有复杂逻辑的流程对Node节点对象使用synchronize进行同步。

Node节点类型与作用

回顾HashMap,其中Node节点类型包含两种,第一种链表,第二种红黑树。
而在ConcurrentHashMap中节点类型在上述两种的基础上扩展了,两种分别是ForwardingNode
和 ReservationNode。
ForwardingNode:用于解决当进行扩容的时候,进行查询的问题。
ReservationNode:用于解决当进行计算时,计算的对象为空的问题。

槽位hash值含义:
链表:大于0
ForwardingNode:-1
红黑树:-2
ReservationNode:-3
ConcurrentHashMap详解

扩容的方式

基于hashMap的扩容方式,通过成员的最新bit位是1or0来决定是否将成员迁入新的槽位中。
显而易见,这种扩容方式对于槽位之间也是互不影响的,那么就可以进行并发的执行扩容以达到高效的目的。

ConcurrentHashMap详解

节点为空则直接替换为Forwarding,后续操作就在新容器中开展。
如果节点不为空,则对节点处理完毕后变更为Forwarding。

ConcurrentHashMap详解

    /**
     * Table initialization and resizing control.  When negative, the
     * table is being initialized or resized: -1 for initialization,
     * else -(1 + the number of active resizing threads).  Otherwise,
     * when table is null, holds the initial table size to use upon
     * creation, or 0 for default. After initialization, holds the
     * next element count value upon which to resize the table.
     */
    private transient volatile int sizeCtl;

○ 负数
■ -1:容器进行初始化
■ 其余负数:高16存储resizeStamp()返回的扩容标识符,低16位(1+进行扩容的线程数)
○ 正数
■ 0:未初始化,需要进行初始化
■ 其余正数:当前容器的大小

源码分析

putVal()方法

final V putVal(K key, V value, boolean onlyIfAbsent) {
        if (key == null || value == null) throw new NullPointerException();
        //获取hash值
        int hash = spread(key.hashCode());
        int binCount = 0;
        for (Node<K,V>[] tab = table;;) {
            Node<K,V> f; int n, i, fh;
            //容器为空进行初始化流程
            if (tab == null || (n = tab.length) == 0)
                tab = initTable();
            //如果槽位中为空的    
            else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
                //以cas方式进行替换,替换成功就中断循环,替换失败则进行下一次循环
                if (casTabAt(tab, i, null,
                             new Node<K,V>(hash, key, value, null)))
                    break;                   // no lock when adding to empty bin
            }
            //一种特殊的节点(forwarding 节点,迁移节点,只在迁移过程中存在)的处理方式
            else if ((fh = f.hash) == MOVED)
                //帮助进行扩容
                tab = helpTransfer(tab, f);
            //如果槽位不为空,并且不是(forwarding节点)    
            else {
                V oldVal = null;
                //将整个槽位锁住
                synchronized (f) {
                    //double check,如果槽位里面的数据发生变更则重新走流程
                    if (tabAt(tab, i) == f) {
                        //如果是链表
                        if (fh >= 0) {
                            binCount = 1;
                            for (Node<K,V> e = f;; ++binCount) {
                                K ek;
                                //如果存在成员则覆盖
                                if (e.hash == hash &&
                                    ((ek = e.key) == key ||
                                     (ek != null && key.equals(ek)))) {
                                    oldVal = e.val;
                                    if (!onlyIfAbsent)
                                        e.val = value;
                                    break;
                                }
                                //不存在成员则新增
                                Node<K,V> pred = e;
                                if ((e = e.next) == null) {
                                    pred.next = new Node<K,V>(hash, key,
                                                              value, null);
                                    break;
                                }
                            }
                        }
                        //如果是红黑树
                        else if (f instanceof TreeBin) {
                            Node<K,V> p;
                            binCount = 2;
                            if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
                                                           value)) != null) {
                                oldVal = p.val;
                                if (!onlyIfAbsent)
                                    p.val = value;
                            }
                        }
                    }
                }
                //如果一个槽位中的数量大于1(只有大于1的才会有binCount)
                if (binCount != 0) {
                    //如果槽位中的成员数量大于等于8,则变更为
                    if (binCount >= TREEIFY_THRESHOLD)
                        //进行转换成红黑树处理
                        treeifyBin(tab, i);
                    if (oldVal != null)
                        return oldVal;
                    break;
                }
            }
        }
        addCount(1L, binCount);
        return null;
    }

spread()方法,获取槽位。

作用:用于获取槽位值

static final int spread(int h) {
        //h为key值得hash值,将高16位也参与运算,然后与int最大值进行&运算(效果为将值变为正数,其他位置不变)
        //HASH_BITS为int最大值,最高位为0
        //HashMap中没有处理为正数的步骤,这里负数有其它含义,查看节点类型
        return (h ^ (h >>> 16)) & HASH_BITS;
    }

initTable()方法,初始化容器

   private final Node<K,V>[] initTable() {
       Node<K,V>[] tab; int sc;
       while ((tab = table) == null || tab.length == 0) {
           //sizeCtl,代表着初始化资源或者扩容资源的锁,必须要获取到该锁才允许进行初始化或者扩容的操作
           if ((sc = sizeCtl) < 0)
               //放弃当前cpu的使用权,让出时间片,线程计入就绪状态参与竞争
               Thread.yield(); // lost initialization race; just spin
           //比较并尝试将sizeCtl替换成-1,如果失败则继续循环    
           else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
               try {
                   //进行一次double check 防止在进入分支前,容器发生了变更
                   if ((tab = table) == null || tab.length == 0) {
                       int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
                       @SuppressWarnings("unchecked")
                       //初始化容器
                       Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
                       table = tab = nt;
                       sc = n - (n >>> 2);
                   }
               } finally {
                   sizeCtl = sc;
               }
               break;
           }
       }
       return tab;
   }

addCount() ,计算成员数量

问题:如果每一个线程的更新都去修改baseCount,当竞争比较小的时候问题不大,但是当非常频繁就会导致同一时候只有一个线程能更新成功,其它线程需要自旋等待机会,如果将baseCount拆成一个个cell也就是CounterCell[],每个线程绑定一个cell单元进行自身size的添加,那么就可以分散热点。
作用:和LongAdder思路一样,分散热点,提高性能,同时增加查询size时候的性能问题,只有当竞争强度上升才会启用

ConcurrentHashMap详解

   private final void addCount(long x, int check) {
        CounterCell[] as; long b, s;
        //统计单元不为空or数量增加失败
        if ((as = counterCells) != null ||
            !U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) {
            CounterCell a; long v; int m;
            boolean uncontended = true;
            if (as == null || (m = as.length - 1) < 0 ||
                (a = as[ThreadLocalRandom.getProbe() & m]) == null ||
                !(uncontended =
                  U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
                //创建cells或者进行数量增加
                fullAddCount(x, uncontended);
                return;
            }
            if (check <= 1)
                return;
            s = sumCount();
        }
        //检查是否需要扩容
        if (check >= 0) {
            Node<K,V>[] tab, nt; int n, sc;
            while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
                   (n = tab.length) < MAXIMUM_CAPACITY) {
                int rs = resizeStamp(n);
                if (sc < 0) {
                    if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
                        sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
                        transferIndex <= 0)
                        break;
                    if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
                        transfer(tab, nt);
                }
                else if (U.compareAndSwapInt(this, SIZECTL, sc,
                                             (rs << RESIZE_STAMP_SHIFT) + 2))
                    transfer(tab, null);
                s = sumCount();
            }
        }
    }

transfer(),进行扩容

    private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
        int n = tab.length, stride;
        //【第一步】
        //决定当前线程在需要处理的槽位充足下,分配到的槽位数
        if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
            stride = MIN_TRANSFER_STRIDE; // subdivide range
        //新容器为空则创建容器    
        if (nextTab == null) {            // initiating
            try {
                //多出一个赋值操作,尝试处理内存溢出?不明白原理
                @SuppressWarnings("unchecked")
                Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
                nextTab = nt;
            } catch (Throwable ex) {      // try to cope with OOME
                sizeCtl = Integer.MAX_VALUE;
                return;
            }
            nextTable = nextTab;
            //转移索引数设置为当前容器容量
            transferIndex = n;
        }
        //将下个容器的转移搜索引数设置为新容器容量
        int nextn = nextTab.length;
        //创建ForwardingNode容器并放入新容器
        ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
        boolean advance = true;
        boolean finishing = false; // to ensure sweep before committing nextTab
        for (int i = 0, bound = 0;;) {
            Node<K,V> f; int fh;
            //【第二步,划分槽位,帮助推进】
            //选择当前线程进行transfer的槽位,从最后一个槽位向前
            while (advance) {
                int nextIndex, nextBound;
                //向前推进一个槽位,或者已经完成了
                if (--i >= bound || finishing)
                    advance = false;
                //槽位被其它线程选择完了    
                else if ((nextIndex = transferIndex) <= 0) {
                    i = -1;
                    advance = false;
                }
                //尝试获取槽位的操作权
                else if (U.compareAndSwapInt
                         (this, TRANSFERINDEX, nextIndex,
                          nextBound = (nextIndex > stride ?
                                       nextIndex - stride : 0))) {
                    //槽位下限                   
                    bound = nextBound;
                    //当前选中进行处理的槽位
                    i = nextIndex - 1;
                    advance = false;
                }
            }
            //被选择完毕,选中槽位大于当前容器容量,选中槽位+当前容器容量大于新容器容量
            //【第三步,设置结束条件,变更地址】
            if (i < 0 || i >= n || i + n >= nextn) {
                int sc;
                //扩容完毕
                if (finishing) {
                    //清除扩容时创建的临时表
                    nextTable = null;
                    //将当前表指向临时表
                    table = nextTab;
                    //设置下次扩容的临界点为 0.75*扩容容量
                    sizeCtl = (n << 1) - (n >>> 1);
                    return;
                }
                //将扩容标识中的线程标识减一
                if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
                    //存在其它线程进行扩容处理,则当前线程处理完自己的槽位后直接退出
                    if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
                        return;
                    //不存在其它线程处理,说明自己是唯一处理线程   
                    finishing = advance = true;
                    //将i重置,在看下还有没有transferIndex
                    //如果已经是唯一处理线程并且满足前置条件,为何需要检查下?
                    i = n; // recheck before commit
                }
            }
            //【第四步,处理槽位】
            //如果当前槽中没有成员,用forwarding节点占位
            else if ((f = tabAt(tab, i)) == null)
                advance = casTabAt(tab, i, null, fwd);
            //如果当前槽中成员为forwarding节点,代表已经被处理过了    
            else if ((fh = f.hash) == MOVED)
                //处理下一个槽
                advance = true; // already processed
            else {
                //锁住槽位
                synchronized (f) {
                    //double check
                    if (tabAt(tab, i) == f) {
                        Node<K,V> ln, hn;
                        if (fh >= 0) {
                            //计算当前成员最高位
                            //runBit是0 or 1
                            int runBit = fh & n;
                            Node<K,V> lastRun = f;
                            for (Node<K,V> p = f.next; p != null; p = p.next) {
                                int b = p.hash & n;
                                //查找最后重复的链,获得开始位置p,和重复的高位值runBit
                                if (b != runBit) {
                                    runBit = b;
                                    lastRun = p;
                                }
                            }
                            //如果从p开始后面高位全是0,那么就不需要移动到新槽中
                            if (runBit == 0) {
                                ln = lastRun;
                                hn = null;
                            }
                            //如果从p开始后面全是1,那么就需要移动到新槽中
                            else {
                                hn = lastRun;
                                ln = null;
                            }
                            //从链的头部一直遍历到p的位置(因为p以后高位都一样)
                            //为何需要提前找一部分重复?效率更高?这么处理是否有理论依据?
                            for (Node<K,V> p = f; p != lastRun; p = p.next) {
                                int ph = p.hash; K pk = p.key; V pv = p.val;
                                //高位为0放到旧槽位中
                                if ((ph & n) == 0)
                                    ln = new Node<K,V>(ph, pk, pv, ln);
                                //高位为1放到新槽位中
                                else
                                    hn = new Node<K,V>(ph, pk, pv, hn);
                            }
                            //将ln放到新容器的旧槽位中
                            setTabAt(nextTab, i, ln);
                            //将hn放到新容器的新槽位中
                            setTabAt(nextTab, i + n, hn);
                            //将老容器中的该节点设置为forwarding节点
                            setTabAt(tab, i, fwd);
                            //处理下一个槽位
                            advance = true;
                        }
                        //TreeBin的hash固定为-2,红黑树的调整
                        else if (f instanceof TreeBin) {
                            TreeBin<K,V> t = (TreeBin<K,V>)f;
                            TreeNode<K,V> lo = null, loTail = null;
                            TreeNode<K,V> hi = null, hiTail = null;
                            int lc = 0, hc = 0;
                            for (Node<K,V> e = t.first; e != null; e = e.next) {
                                int h = e.hash;
                                TreeNode<K,V> p = new TreeNode<K,V>
                                    (h, e.key, e.val, null, null);
                                if ((h & n) == 0) {
                                    if ((p.prev = loTail) == null)
                                        lo = p;
                                    else
                                        loTail.next = p;
                                    loTail = p;
                                    ++lc;
                                }
                                else {
                                    if ((p.prev = hiTail) == null)
                                        hi = p;
                                    else
                                        hiTail.next = p;
                                    hiTail = p;
                                    ++hc;
                                }
                            }
                            //槽位里成员少于等于6,退化为链表
                            ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
                                (hc != 0) ? new TreeBin<K,V>(lo) : t;
                            hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
                                (lc != 0) ? new TreeBin<K,V>(hi) : t;
                            setTabAt(nextTab, i, ln);
                            setTabAt(nextTab, i + n, hn);
                            setTabAt(tab, i, fwd);
                            advance = true;
                        }
                    }
                }
            }
        }
    }

将容器中的槽位分成多份,由后往前分割槽位,线程处理自己获取到的分段槽位(分段槽位内部连续,分段槽位间不出现交集,避免竞争提高性能),根据槽位中成员扩容的最高位是0是1选择新旧槽位进行分配到新容器中,0保持旧槽位,1移动到新槽位,由处理最后一段的线程将旧容器替换为新容器

  1. 处理好新容器,确定每段的槽位数是多少
    stride【分段槽位的大小】
    nextTab【临时扩容容器】
    tab【临时当前容器】
  2. 尝试获取到分段槽位,槽为从后向前进行分配
    bound【槽位下限】
    nextIndex【槽位上限】
    i【当前处理槽位】
  3. 处理槽位,如果槽位为空放入forwarding节点,不为空则根据成员最高位判断是否分配到新槽位or旧槽位,如果是红黑树判断分配完后槽位中的成员少于等于6则退化位链表
    ln【旧槽位】
    hn【新槽位】
  4. 槽位分段处理完毕,如果是最后一个线程,那么需要将新容器地址覆盖旧容器,旧容器直接丢弃,状态重置为正标识下次触发扩容的阈值
    table【当前容器】
    nextTable【扩容容器】
    sizeCtl【状态值】

compute()

    public V compute(K key,
                     BiFunction<? super K, ? super V, ? extends V> remappingFunction) {
        if (key == null || remappingFunction == null)
            throw new NullPointerException();
        //获取到对应的槽位
        int h = spread(key.hashCode());
        V val = null;
        int delta = 0;
        int binCount = 0;
        for (Node<K,V>[] tab = table;;) {
            Node<K,V> f; int n, i, fh;
            //初始化容器
            if (tab == null || (n = tab.length) == 0)
                tab = initTable();
            //槽位无成员
            else if ((f = tabAt(tab, i = (n - 1) & h)) == null) {
                //定义新节点
                Node<K,V> r = new ReservationNode<K,V>();
                //提前加锁,避免后续cas成功后其它线程获取到
                synchronized (r) {
                    //尝试将槽位替换为ReservationNode节点,解决槽位为null无法进行锁定问题
                    if (casTabAt(tab, i, null, r)) {
                        binCount = 1;
                        Node<K,V> node = null;
                        try {
                            //进行计算
                            if ((val = remappingFunction.apply(key, null)) != null) {
                                delta = 1;
                                node = new Node<K,V>(h, key, val, null);
                            }
                        } finally {
                            //设置node节点替换ReservationNode节点
                            setTabAt(tab, i, node);
                        }
                    }
                }
                if (binCount != 0)
                    break;
            }
            //槽位节点为forwarding
            else if ((fh = f.hash) == MOVED)
                tab = helpTransfer(tab, f);
            //存在成员    
            else {
                synchronized (f) {
                    if (tabAt(tab, i) == f) {
                        //成员为链表
                        if (fh >= 0) {
                            binCount = 1;
                            for (Node<K,V> e = f, pred = null;; ++binCount) {
                                K ek;
                                //找到成员
                                if (e.hash == h &&
                                    ((ek = e.key) == key ||
                                     (ek != null && key.equals(ek)))) {
                                    //进行计算
                                    val = remappingFunction.apply(key, e.val);
                                    if (val != null)
                                        e.val = val;
                                    else {
                                        delta = -1;
                                        Node<K,V> en = e.next;
                                        if (pred != null)
                                            pred.next = en;
                                        else
                                            setTabAt(tab, i, en);
                                    }
                                    break;
                                }
                                pred = e;
                                if ((e = e.next) == null) {
                                    val = remappingFunction.apply(key, null);
                                    if (val != null) {
                                        delta = 1;
                                        pred.next =
                                            new Node<K,V>(h, key, val, null);
                                    }
                                    break;
                                }
                            }
                        }
                        //成员为红黑树
                        else if (f instanceof TreeBin) {
                            binCount = 1;
                            TreeBin<K,V> t = (TreeBin<K,V>)f;
                            TreeNode<K,V> r, p;
                            if ((r = t.root) != null)
                                p = r.findTreeNode(h, key, null);
                            else
                                p = null;
                            V pv = (p == null) ? null : p.val;
                            val = remappingFunction.apply(key, pv);
                            if (val != null) {
                                if (p != null)
                                    p.val = val;
                                else {
                                    delta = 1;
                                    t.putTreeVal(h, key, val);
                                }
                            }
                            else if (p != null) {
                                delta = -1;
                                if (t.removeTreeNode(p))
                                    setTabAt(tab, i, untreeify(t.first));
                            }
                        }
                    }
                }
                //根据链表成员数量,判断是否需要转为红黑树
                if (binCount != 0) {
                    if (binCount >= TREEIFY_THRESHOLD)
                        treeifyBin(tab, i);
                    break;
                }
            }
        }
        if (delta != 0)
            addCount((long)delta, binCount);
        return val;
    }

版权声明:程序员胖胖胖虎阿 发表于 2022年10月29日 下午1:24。
转载请注明:ConcurrentHashMap详解 | 胖虎的工具箱-编程导航

相关文章

暂无评论

暂无评论...