欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

ID生成策略之雪花算法,补充二进制十进制、位运算笔记

程序员文章站 2022-07-13 10:20:37
...

 

目录

介绍

在线转换时间戳、二进制网站

SnowFlake算法原理

代码实现

二进制十进制

位运算概览(&、|、^、~、>>、<<)BitOperation

1、与运算符(&)

2、或运算符(|)

3、异或运算符(^)

4、取反运算符 (~)

5、左移运算符(<<)

6、右移运算符(>>)

7、复合赋值运算符


介绍

snowflake是分布式id生成算法的其中一种。Twitter的。

 

在线转换时间戳、二进制网站

时间戳:https://tool.lu/timestamp/

二进制:https://tool.lu/hexconvert/

 

SnowFlake算法原理

SnowFlake算法生成id的结果是一个64bit大小的整数。
最先前的1bit不用,41bit表示时间戳,10bit工作机器id( 5 个 bit 代表机房 id,5 个 bit 代表机器 id),12 bit这个是用来记录同一个毫秒内产生的不同 id。

 

ID生成策略之雪花算法,补充二进制十进制、位运算笔记

  1. 1bit,不用,因为二进制中最高位是符号位,1表示负数,0表示正数。生成的id一般都是用整数,所以最高位固定为0。

  2. 41bit-时间戳,用来记录时间戳,毫秒级。
    - 41位可以表示个数字,
    - 如果只用来表示正整数(计算机中正数包含0),可以表示的数值范围是:0 至 ,减1是因为可表示的数值范围是从0开始算的,而不是1。
    - 也就是说41位可以表示个毫秒的值,转化成单位年则是69年(2的41次方/1000毫秒*60秒*60分钟*24小时*12月=69年)

  3. 10bit-工作机器id,用来记录工作机器id。
    - 可以部署在个节点,包括5位datacenterId和5位workerId
    - 5位(bit)可以表示的最大正整数是,即可以用0、1、2、3、....31这32个数字,来表示不同的datecenterId或workerId

  4. 12bit-***,***,用来记录同毫秒内产生的不同id。
    - 12位(bit)可以表示的最大正整数是,即可以用0、1、2、3、....4094这4095个数字,来表示同一机器同一时间截(毫秒)内产生的4095个ID序号。

由于在Java中64bit的整数是long类型,所以在Java中SnowFlake算法生成的id就是long来存储的。

SnowFlake可以保证:

  1. 所有生成的id按时间趋势递增
  2. 整个分布式系统内不会产生重复id(因为有datacenterId和workerId来做区分)

SnowFlake算法的优点:

  • 高性能高可用:生成时不依赖于数据库,完全在内存中生成。
  • 容量大:每秒中能生成数百万的自增ID。
  • ID自增:存入数据库中,索引效率高。

 

SnowFlake算法的缺点:
依赖与系统时间的一致性,如果系统时间被回调,或者改变,可能会造成id冲突或者重复。
 

代码实现

package com.ldgroup.snowflake.util;

/**
 * @Description
 * @Author by mocar小师兄
 * @Date 2020/5/6 11:06
 **/
public class SnowFlakeGenerateIDUtils {
    //因为二进制里第一个 bit 如果是 1,那么都是负数,但是我们生成的 id 都是正数,所以第一个 bit 统一都是 0。

    //机器ID  2进制5位  32位减掉1位 31个
    private long workerId;
    //机房ID 2进制5位  32位减掉1位 31个
    private long datacenterId;
    //代表一毫秒内生成的多个id的最新序号  12位 4096 -1 = 4095 个
    private long sequence;
    //设置一个时间初始值    2^41 - 1   差不多可以用69年
    private long twepoch = 1585644268888L;
    //5位的机器id
    private long workerIdBits = 5L;
    //5位的机房id
    private long datacenterIdBits = 5L;
    //每毫秒内产生的id数 2 的 12次方
    private long sequenceBits = 12L;
    // 这个是二进制运算,就是5 bit最多只能有31个数字,也就是说机器id最多只能是32以内
    private long maxWorkerId = -1L ^ (-1L << workerIdBits);
    // 这个是一个意思,就是5 bit最多只能有31个数字,机房id最多只能是32以内
    private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);

    private long workerIdShift = sequenceBits;
    private long datacenterIdShift = sequenceBits + workerIdBits;
    private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
    private long sequenceMask = -1L ^ (-1L << sequenceBits);
    //记录产生时间毫秒数,判断是否是同1毫秒
    private long lastTimestamp = -1L;
    private int count =1;
    public long getWorkerId(){
        return workerId;
    }
    public long getDatacenterId() {
        return datacenterId;
    }
    public long getTimestamp() {
        return System.currentTimeMillis();
    }


    /***
     * 功能描述: 
     * 〈〉
     * @Param: [workerId:机器ID, datacenterId:机房ID, sequence:***]
     * @Return: 
     * @Author: by 
     * @Date: 2020/5/6 11:45
     */
    public SnowFlakeGenerateIDUtils(long workerId, long datacenterId, long sequence) {

        // 检查机房id和机器id是否超过31 不能小于0
        if (workerId > maxWorkerId || workerId < 0) {
            throw new IllegalArgumentException(
                    String.format("worker Id can't be greater than %d or less than 0",maxWorkerId));
        }

        if (datacenterId > maxDatacenterId || datacenterId < 0) {

            throw new IllegalArgumentException(
                    String.format("datacenter Id can't be greater than %d or less than 0",maxDatacenterId));
        }
        this.workerId = workerId;
        this.datacenterId = datacenterId;
        this.sequence = sequence;
    }

    // 这个是核心方法,通过调用nextId()方法,让当前这台机器上的snowflake算法程序生成一个全局唯一的id
    public synchronized long nextId() {
        // 这儿就是获取当前时间戳,单位是毫秒
        long timestamp = timeGen();
        if (timestamp < lastTimestamp) {

            System.err.printf(
                    "clock is moving backwards. Rejecting requests until %d.", lastTimestamp);
            throw new RuntimeException(
                    String.format("Clock moved backwards. Refusing to generate id for %d milliseconds",
                            lastTimestamp - timestamp));
        }

        // 下面是说假设在同一个毫秒内,又发送了一个请求生成一个id
        // 这个时候就得把seqence序号给递增1,最多就是4096
        if (lastTimestamp == timestamp) {

            // 这个意思是说一个毫秒内最多只能有4096个数字,无论你传递多少进来,
            //这个位运算保证始终就是在4096这个范围内,避免你自己传递个sequence超过了4096这个范围
            //4095:111111111111  ==  sequenceMask
            //4096:1000000000000
            //当sequence大于4095,与运算 1000000000000 & 111111111111 =0 0000 0000 0000 0000
            //即sequence =0
            sequence = (sequence + 1) & sequenceMask;
            System.out.println("同一毫秒:\t" + timestamp + ",生成ID数:\t" + count);
            count ++;
            //当某一毫秒的时间,产生的id数 超过4095,系统会进入等待,直到下一毫秒,系统继续产生ID
            if (sequence == 0) {
                timestamp = tilNextMillis(lastTimestamp);
                count=1;
            }

        } else {
            sequence = 0;
            count =1;
        }
        // 这儿记录一下最近一次生成id的时间戳,单位是毫秒
        lastTimestamp = timestamp;
        // 这儿就是最核心的二进制位运算操作,生成一个64bit的id
        // 先将当前时间戳左移,放到41 bit那儿;将机房id左移放到5 bit那儿;将机器id左移放到5 bit那儿;将序号放最后12 bit
        // 最后拼接起来成一个64 bit的二进制数字,转换成10进制就是个long型
        return ((timestamp- twepoch) << timestampLeftShift) |
                (datacenterId << datacenterIdShift) |
                (workerId << workerIdShift) | sequence;
    }

    /**
     * 当某一毫秒的时间,产生的id数 超过4095,系统会进入等待,直到下一毫秒,系统继续产生ID
     * @param lastTimestamp
     * @return
     */
    private long tilNextMillis(long lastTimestamp) {

        long timestamp = timeGen();

        while (timestamp <= lastTimestamp) {
            timestamp = timeGen();
        }
        return timestamp;
    }
    //获取当前时间戳
    private long timeGen(){
        return System.currentTimeMillis();
    }

    /**
     *  main 测试类
     * @param args
     */
    public static void main(String[] args) {
		SnowFlakeGenerateIDUtils worker = new SnowFlakeGenerateIDUtils(1,1,1);
		for (int i = 0; i < 22; i++) {
           /* try {
                Thread.sleep(1);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }*/
            System.out.println("生成的第"+(i+1) + "个ID:\t" +worker.nextId());
		}
    }
}

输出结果:

生成的第1个ID:	13046355706646528
同一毫秒:	1588754762478,生成ID数:	1
生成的第2个ID:	13046355706646529
同一毫秒:	1588754762478,生成ID数:	2
生成的第3个ID:	13046355706646530
生成的第4个ID:	13046355710840832
同一毫秒:	1588754762479,生成ID数:	1
生成的第5个ID:	13046355710840833
同一毫秒:	1588754762479,生成ID数:	2
生成的第6个ID:	13046355710840834
生成的第7个ID:	13046355715035136
同一毫秒:	1588754762480,生成ID数:	1
生成的第8个ID:	13046355715035137
同一毫秒:	1588754762480,生成ID数:	2
生成的第9个ID:	13046355715035138
同一毫秒:	1588754762480,生成ID数:	3
生成的第10个ID:	13046355715035139
同一毫秒:	1588754762480,生成ID数:	4
生成的第11个ID:	13046355715035140
同一毫秒:	1588754762480,生成ID数:	5
生成的第12个ID:	13046355715035141
同一毫秒:	1588754762480,生成ID数:	6
生成的第13个ID:	13046355715035142
同一毫秒:	1588754762480,生成ID数:	7
生成的第14个ID:	13046355715035143
同一毫秒:	1588754762480,生成ID数:	8
生成的第15个ID:	13046355715035144
同一毫秒:	1588754762480,生成ID数:	9
生成的第16个ID:	13046355715035145
同一毫秒:	1588754762480,生成ID数:	10
生成的第17个ID:	13046355715035146
同一毫秒:	1588754762480,生成ID数:	11
生成的第18个ID:	13046355715035147
同一毫秒:	1588754762480,生成ID数:	12
生成的第19个ID:	13046355715035148
同一毫秒:	1588754762480,生成ID数:	13
生成的第20个ID:	13046355715035149
同一毫秒:	1588754762480,生成ID数:	14
生成的第21个ID:	13046355715035150
同一毫秒:	1588754762480,生成ID数:	15
生成的第22个ID:	13046355715035151

 

 

二进制十进制

  • 十进制刻度:个 十 百 千 万...

             那么如果十进制表示一百零一,其实就是101

  • 二进制刻度:1 2 4 8 16 32...(其实就是2的0次、一次、二次、三次...)

             那么表示五,就是 0101(4+1),表示十,1010(8+2)

 

二进制的意义就在于:“一切数据都可以用01来表达”。

如何将十进制转化为二进制?
其实就是将要转化的数除以二,如果结果不能整除则提出1,整数部分继续运算,如果结果能整除则提出0,再进行除以二的运算。然后将最后提出的01向前排序就是我们的二进制结果。

例子:

比如666这个数
666除二得333能整除,则提出0
333除二得166.5不能整除,则提出1,将166继续运算
166除二得83能整除,则提出0
83除二得41.5不能整除,则提出1,将41继续运算
41除二得20.5不能整除,则提出1,将20继续运算
20除二得10能整除,则提出0,
10除二得5能整除,则提出0,
5除二得2.5不能整除,则提出1,将2继续运算
2除二得1能整除,则提出0,
1除二得0.5,不能整除则提出1,结果最终为0结束运算

将上面的最后提出的答案向前排序则为“1010011010”
此时要注意的是我们二进制是四个四个排序的(为了方便看),不足四个用0补上,所以写成“0010 1001 1010”
这就是基础运算。


详细可参考:

https://blog.csdn.net/lyb2518/article/details/90348111

 

位运算概览(&、|、^、~、>>、<<)BitOperation

ID生成策略之雪花算法,补充二进制十进制、位运算笔记

 

1、与运算符(&)

定义:参加运算的两个数据,按二进制位进行“与”运算。

运算规则:

0&0=0  0&1=0  1&0=0  1&1=1

总结:两位同时为1,结果才为1,否则结果为0

例如:3&5 即 0000 0011& 0000 0101 = 0000 0001,因此 3&5 的值得1。

注意:负数按补码形式参加按位与运算。

与运算的用途:

1)清零

如果想将一个单元清零,即使其全部二进制位为0,只要与一个各位都为零的数值相与,结果为零。

2)取一个数的指定位

比如取数 X=1010 1110 的低4位,只需要另找一个数Y,令Y的低4位为1,其余位为0,即Y=0000 1111,然后将X与Y进行按位与运算(X&Y=0000 1110)即可得到X的指定位。

3)判断奇偶

只要根据最未位是0还是1来决定,为0就是偶数,为1就是奇数。因此可以用if ((a & 1) == 0)代替if (a % 2 == 0)来判断a是不是偶数。

 

2、或运算符(|)

定义:参加运算的两个对象,按二进制位进行“或”运算。

运算规则:

0|0=0  0|1=1  1|0=1  1|1=1

总结:参加运算的两个对象只要有一个为1,其值为1。

例如:3|5即 0000 0011| 0000 0101 = 0000 0111,因此,3|5的值得7。 

注意:负数按补码形式参加按位或运算。

或运算的用途:

1)常用来对一个数据的某些位设置为1

比如将数 X=1010 1110 的低4位设置为1,只需要另找一个数Y,令Y的低4位为1,其余位为0,即Y=0000 1111,然后将X与Y进行按位或运算(X|Y=1010 1111)即可得到。

 

3、异或运算符(^)

定义:参加运算的两个数据,按二进制位进行“异或”运算。

运算规则:

0^0=0  0^1=1  1^0=1  1^1=0
(PS:x^0=x)

总结:参加运算的两个对象,如果两个相应位相同为0,相异为1。

异或的几条性质:

1、交换律

2、结合律 (a^b)^c == a^(b^c)

3、对于任何数x,都有 x^x=0,x^0=x

4、自反性: a^b^b=a^0=a;

异或运算的用途:

1)翻转指定位

比如将数 X=1010 1110 的低4位进行翻转,只需要另找一个数Y,令Y的低4位为1,其余位为0,即Y=0000 1111,然后将X与Y进行异或运算(X^Y=1010 0001)即可得到。

2)与0相异或值不变

例如:1010 1110 ^ 0000 0000 = 1010 1110

 

4、取反运算符 (~)

定义:参加运算的一个数据,按二进制进行“取反”运算。
运算规则: 

~1=0
~0=1

总结:对一个二进制数按位取反,即将0变1,1变0。

异或运算的用途:

1)使一个数的最低位为零

使a的最低位为0,可以表示为:a & ~1。~1的值为 1111 1111 1111 1110,再按"与"运算,最低位一定为0。

因为“ ~”运算符的优先级比算术运算符、关系运算符、逻辑运算符和其他运算符都高。

 

5、左移运算符(<<)

定义:将一个运算对象的各二进制位全部左移若干位(左边的二进制位丢弃,右边补0)。

设 a=1010 1110,a = a<< 2 将a的二进制位左移2位、右补0,即最前面的10丢失。

得a=1011 1000。

若左移时舍弃的高位不包含1,则每左移一位,相当于该数乘以2。即如果a=0001 1000

a = a<< 2,左移两位,相当于前面的两个0去掉了,后面补两个0,相当于a=a*4,即:

0001 1000 -->16+8=24
0110 0000 -->64+32=96

 

6、右移运算符(>>)

定义:将一个数的各二进制位全部右移若干位,正数左补0,负数左补1,右边丢弃。

例如:a=a>>2 将a的二进制位右移2位,左补0 或者 左补1得看被移数是正还是负。

操作数每右移一位,相当于该数除以2。

 

7、复合赋值运算符

位运算符与赋值运算符结合,组成新的复合赋值运算符,它们是:

&=        例:a&=b    相当于   a=a&b

|=        例:a|=b    相当于   a=a|b

>>=      例:a>>=b    相当于   a=a>>b

<<=      例:a<<=b           相当于   a=a<<b

^=        例:a^=b    相当于   a=a^b

不同长度的数据进行位运算:如果两个不同长度的数据进行位运算时,系统会将二者按右端对齐,然后进行位运算。

以“与运算”为例说明如下:我们知道在C语言中long型占4个字节,int型占2个字节,如果一个long型数据与一个int型数据进行“与运算“,右端对齐后,左边不足的位依下面三种情况补足,

1)如果整型数据为正数,左边补16个0。

2)如果整型数据为负数,左边补16个1。

3)如果整形数据为无符号数,左边也补16个0。

如:long a=123;int b=1;计算a& b。

如:long a=123;int b=-1;计算a& b。

如:long a=123;unsigned intb=1;计算a & b。

 

简单测试

 public static void test(){
        System.out.println(1&0); //0
        System.out.println(1&1); //1
        System.out.println(0&0); //0
        System.out.println(1|0); //1
        System.out.println(1|1); //1
        System.out.println(0|0); //0
        System.out.println("-------------------------------------");
        System.out.println(1&4596);//0001 & xxxx 0100-->0000    0
        System.out.println(2&4596);//0010 & xxxx 0100-->0000    0
        System.out.println(6&4596);//0110 & xxxx 0100-->0100    4
    }
0
1
0
1
1
0
-------------------------------------
0
0
4

 

如何用二进制控制最大生成的数量?

2的12次方=4096,即4096个数字,从0开始,不能超过4095,4095的二进制是 111111111111,12个1

  //每毫秒内产生的id数 2 的 12次方
    private long sequenceBits = 12L;
    private long sequenceMask = -1L ^ (-1L << sequenceBits); //4095
    // 这个意思是说一个毫秒内最多只能有4096个数字,无论你传递多少进来,
    //这个位运算保证始终就是在4096这个范围内,避免你自己传递个sequence超过了4096这个范围
    //4095:111111111111  ==  sequenceMask
    //4096:1000000000000
    //当sequence大于4095,与运算 1000000000000 & 111111111111 =0 0000 0000 0000 0000
    //即sequence =0
    sequence = (sequence + 1) & sequenceMask;
    //当某一毫秒的时间,产生的id数 超过4095,系统会进入等待,直到下一毫秒,系统继续产生ID
    if (sequence == 0) {
          超过设置的最大数,业务处理逻辑
      }

 

 

详细参考:

https://www.cnblogs.com/yrjns/p/11246163.html

 

 

 

 

相关标签: ID生成器