ID生成策略之雪花算法,补充二进制十进制、位运算笔记
目录
位运算概览(&、|、^、~、>>、<<)BitOperation
介绍
snowflake是分布式id生成算法的其中一种。Twitter的。
在线转换时间戳、二进制网站
时间戳:https://tool.lu/timestamp/
二进制:https://tool.lu/hexconvert/
SnowFlake算法原理
SnowFlake算法生成id的结果是一个64bit大小的整数。
最先前的1bit不用,41bit表示时间戳,10bit工作机器id( 5 个 bit 代表机房 id,5 个 bit 代表机器 id),12 bit这个是用来记录同一个毫秒内产生的不同 id。
-
1bit,不用,因为二进制中最高位是符号位,1表示负数,0表示正数。生成的id一般都是用整数,所以最高位固定为0。
-
41bit-时间戳,用来记录时间戳,毫秒级。
- 41位可以表示个数字,
- 如果只用来表示正整数(计算机中正数包含0),可以表示的数值范围是:0 至 ,减1是因为可表示的数值范围是从0开始算的,而不是1。
- 也就是说41位可以表示个毫秒的值,转化成单位年则是69年(2的41次方/1000毫秒*60秒*60分钟*24小时*12月=69年) -
10bit-工作机器id,用来记录工作机器id。
- 可以部署在个节点,包括5位datacenterId和5位workerId
- 5位(bit)可以表示的最大正整数是,即可以用0、1、2、3、....31这32个数字,来表示不同的datecenterId或workerId -
12bit-***,***,用来记录同毫秒内产生的不同id。
- 12位(bit)可以表示的最大正整数是,即可以用0、1、2、3、....4094这4095个数字,来表示同一机器同一时间截(毫秒)内产生的4095个ID序号。
由于在Java中64bit的整数是long类型,所以在Java中SnowFlake算法生成的id就是long来存储的。
SnowFlake可以保证:
- 所有生成的id按时间趋势递增
- 整个分布式系统内不会产生重复id(因为有datacenterId和workerId来做区分)
SnowFlake算法的优点:
- 高性能高可用:生成时不依赖于数据库,完全在内存中生成。
- 容量大:每秒中能生成数百万的自增ID。
- ID自增:存入数据库中,索引效率高。
SnowFlake算法的缺点:
依赖与系统时间的一致性,如果系统时间被回调,或者改变,可能会造成id冲突或者重复。
代码实现
package com.ldgroup.snowflake.util;
/**
* @Description
* @Author by mocar小师兄
* @Date 2020/5/6 11:06
**/
public class SnowFlakeGenerateIDUtils {
//因为二进制里第一个 bit 如果是 1,那么都是负数,但是我们生成的 id 都是正数,所以第一个 bit 统一都是 0。
//机器ID 2进制5位 32位减掉1位 31个
private long workerId;
//机房ID 2进制5位 32位减掉1位 31个
private long datacenterId;
//代表一毫秒内生成的多个id的最新序号 12位 4096 -1 = 4095 个
private long sequence;
//设置一个时间初始值 2^41 - 1 差不多可以用69年
private long twepoch = 1585644268888L;
//5位的机器id
private long workerIdBits = 5L;
//5位的机房id
private long datacenterIdBits = 5L;
//每毫秒内产生的id数 2 的 12次方
private long sequenceBits = 12L;
// 这个是二进制运算,就是5 bit最多只能有31个数字,也就是说机器id最多只能是32以内
private long maxWorkerId = -1L ^ (-1L << workerIdBits);
// 这个是一个意思,就是5 bit最多只能有31个数字,机房id最多只能是32以内
private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
private long workerIdShift = sequenceBits;
private long datacenterIdShift = sequenceBits + workerIdBits;
private long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
private long sequenceMask = -1L ^ (-1L << sequenceBits);
//记录产生时间毫秒数,判断是否是同1毫秒
private long lastTimestamp = -1L;
private int count =1;
public long getWorkerId(){
return workerId;
}
public long getDatacenterId() {
return datacenterId;
}
public long getTimestamp() {
return System.currentTimeMillis();
}
/***
* 功能描述:
* 〈〉
* @Param: [workerId:机器ID, datacenterId:机房ID, sequence:***]
* @Return:
* @Author: by
* @Date: 2020/5/6 11:45
*/
public SnowFlakeGenerateIDUtils(long workerId, long datacenterId, long sequence) {
// 检查机房id和机器id是否超过31 不能小于0
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(
String.format("worker Id can't be greater than %d or less than 0",maxWorkerId));
}
if (datacenterId > maxDatacenterId || datacenterId < 0) {
throw new IllegalArgumentException(
String.format("datacenter Id can't be greater than %d or less than 0",maxDatacenterId));
}
this.workerId = workerId;
this.datacenterId = datacenterId;
this.sequence = sequence;
}
// 这个是核心方法,通过调用nextId()方法,让当前这台机器上的snowflake算法程序生成一个全局唯一的id
public synchronized long nextId() {
// 这儿就是获取当前时间戳,单位是毫秒
long timestamp = timeGen();
if (timestamp < lastTimestamp) {
System.err.printf(
"clock is moving backwards. Rejecting requests until %d.", lastTimestamp);
throw new RuntimeException(
String.format("Clock moved backwards. Refusing to generate id for %d milliseconds",
lastTimestamp - timestamp));
}
// 下面是说假设在同一个毫秒内,又发送了一个请求生成一个id
// 这个时候就得把seqence序号给递增1,最多就是4096
if (lastTimestamp == timestamp) {
// 这个意思是说一个毫秒内最多只能有4096个数字,无论你传递多少进来,
//这个位运算保证始终就是在4096这个范围内,避免你自己传递个sequence超过了4096这个范围
//4095:111111111111 == sequenceMask
//4096:1000000000000
//当sequence大于4095,与运算 1000000000000 & 111111111111 =0 0000 0000 0000 0000
//即sequence =0
sequence = (sequence + 1) & sequenceMask;
System.out.println("同一毫秒:\t" + timestamp + ",生成ID数:\t" + count);
count ++;
//当某一毫秒的时间,产生的id数 超过4095,系统会进入等待,直到下一毫秒,系统继续产生ID
if (sequence == 0) {
timestamp = tilNextMillis(lastTimestamp);
count=1;
}
} else {
sequence = 0;
count =1;
}
// 这儿记录一下最近一次生成id的时间戳,单位是毫秒
lastTimestamp = timestamp;
// 这儿就是最核心的二进制位运算操作,生成一个64bit的id
// 先将当前时间戳左移,放到41 bit那儿;将机房id左移放到5 bit那儿;将机器id左移放到5 bit那儿;将序号放最后12 bit
// 最后拼接起来成一个64 bit的二进制数字,转换成10进制就是个long型
return ((timestamp- twepoch) << timestampLeftShift) |
(datacenterId << datacenterIdShift) |
(workerId << workerIdShift) | sequence;
}
/**
* 当某一毫秒的时间,产生的id数 超过4095,系统会进入等待,直到下一毫秒,系统继续产生ID
* @param lastTimestamp
* @return
*/
private long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
//获取当前时间戳
private long timeGen(){
return System.currentTimeMillis();
}
/**
* main 测试类
* @param args
*/
public static void main(String[] args) {
SnowFlakeGenerateIDUtils worker = new SnowFlakeGenerateIDUtils(1,1,1);
for (int i = 0; i < 22; i++) {
/* try {
Thread.sleep(1);
} catch (InterruptedException e) {
e.printStackTrace();
}*/
System.out.println("生成的第"+(i+1) + "个ID:\t" +worker.nextId());
}
}
}
输出结果:
生成的第1个ID: 13046355706646528
同一毫秒: 1588754762478,生成ID数: 1
生成的第2个ID: 13046355706646529
同一毫秒: 1588754762478,生成ID数: 2
生成的第3个ID: 13046355706646530
生成的第4个ID: 13046355710840832
同一毫秒: 1588754762479,生成ID数: 1
生成的第5个ID: 13046355710840833
同一毫秒: 1588754762479,生成ID数: 2
生成的第6个ID: 13046355710840834
生成的第7个ID: 13046355715035136
同一毫秒: 1588754762480,生成ID数: 1
生成的第8个ID: 13046355715035137
同一毫秒: 1588754762480,生成ID数: 2
生成的第9个ID: 13046355715035138
同一毫秒: 1588754762480,生成ID数: 3
生成的第10个ID: 13046355715035139
同一毫秒: 1588754762480,生成ID数: 4
生成的第11个ID: 13046355715035140
同一毫秒: 1588754762480,生成ID数: 5
生成的第12个ID: 13046355715035141
同一毫秒: 1588754762480,生成ID数: 6
生成的第13个ID: 13046355715035142
同一毫秒: 1588754762480,生成ID数: 7
生成的第14个ID: 13046355715035143
同一毫秒: 1588754762480,生成ID数: 8
生成的第15个ID: 13046355715035144
同一毫秒: 1588754762480,生成ID数: 9
生成的第16个ID: 13046355715035145
同一毫秒: 1588754762480,生成ID数: 10
生成的第17个ID: 13046355715035146
同一毫秒: 1588754762480,生成ID数: 11
生成的第18个ID: 13046355715035147
同一毫秒: 1588754762480,生成ID数: 12
生成的第19个ID: 13046355715035148
同一毫秒: 1588754762480,生成ID数: 13
生成的第20个ID: 13046355715035149
同一毫秒: 1588754762480,生成ID数: 14
生成的第21个ID: 13046355715035150
同一毫秒: 1588754762480,生成ID数: 15
生成的第22个ID: 13046355715035151
二进制十进制
- 十进制刻度:个 十 百 千 万...
那么如果十进制表示一百零一,其实就是101
- 二进制刻度:1 2 4 8 16 32...(其实就是2的0次、一次、二次、三次...)
那么表示五,就是 0101(4+1),表示十,1010(8+2)
二进制的意义就在于:“一切数据都可以用0和1来表达”。
如何将十进制转化为二进制?
其实就是将要转化的数除以二,如果结果不能整除则提出1,整数部分继续运算,如果结果能整除则提出0,再进行除以二的运算。然后将最后提出的0或1向前排序就是我们的二进制结果。
例子:
比如666这个数
666除二得333能整除,则提出0
333除二得166.5不能整除,则提出1,将166继续运算
166除二得83能整除,则提出0
83除二得41.5不能整除,则提出1,将41继续运算
41除二得20.5不能整除,则提出1,将20继续运算
20除二得10能整除,则提出0,
10除二得5能整除,则提出0,
5除二得2.5不能整除,则提出1,将2继续运算
2除二得1能整除,则提出0,
1除二得0.5,不能整除则提出1,结果最终为0结束运算
将上面的最后提出的答案向前排序则为“1010011010”
此时要注意的是我们二进制是四个四个排序的(为了方便看),不足四个用0补上,所以写成“0010 1001 1010”
这就是基础运算。
详细可参考:
https://blog.csdn.net/lyb2518/article/details/90348111
位运算概览(&、|、^、~、>>、<<)BitOperation
1、与运算符(&)
定义:参加运算的两个数据,按二进制位进行“与”运算。
运算规则:
0&0=0 0&1=0 1&0=0 1&1=1
总结:两位同时为1,结果才为1,否则结果为0。
例如:3&5
即 0000 0011& 0000 0101 = 0000 0001,因此 3&5 的值得1。
注意:负数按补码形式参加按位与运算。
与运算的用途:
1)清零
如果想将一个单元清零,即使其全部二进制位为0,只要与一个各位都为零的数值相与,结果为零。
2)取一个数的指定位
比如取数 X=1010 1110 的低4位,只需要另找一个数Y,令Y的低4位为1,其余位为0,即Y=0000 1111,然后将X与Y进行按位与运算(X&Y=0000 1110)即可得到X的指定位。
3)判断奇偶
只要根据最未位是0还是1来决定,为0就是偶数,为1就是奇数。因此可以用if ((a & 1) == 0)
代替if (a % 2 == 0)
来判断a是不是偶数。
2、或运算符(|)
定义:参加运算的两个对象,按二进制位进行“或”运算。
运算规则:
0|0=0 0|1=1 1|0=1 1|1=1
总结:参加运算的两个对象只要有一个为1,其值为1。
例如:3|5
即 0000 0011| 0000 0101 = 0000 0111,因此,3|5
的值得7。
注意:负数按补码形式参加按位或运算。
或运算的用途:
1)常用来对一个数据的某些位设置为1
比如将数 X=1010 1110 的低4位设置为1,只需要另找一个数Y,令Y的低4位为1,其余位为0,即Y=0000 1111,然后将X与Y进行按位或运算(X|Y=1010 1111)即可得到。
3、异或运算符(^)
定义:参加运算的两个数据,按二进制位进行“异或”运算。
运算规则:
0^0=0 0^1=1 1^0=1 1^1=0
(PS:x^0=x)
总结:参加运算的两个对象,如果两个相应位相同为0,相异为1。
异或的几条性质:
1、交换律
2、结合律 (a^b)^c == a^(b^c)
3、对于任何数x,都有 x^x=0,x^0=x
4、自反性: a^b^b=a^0=a;
异或运算的用途:
1)翻转指定位
比如将数 X=1010 1110 的低4位进行翻转,只需要另找一个数Y,令Y的低4位为1,其余位为0,即Y=0000 1111,然后将X与Y进行异或运算(X^Y=1010 0001)即可得到。
2)与0相异或值不变
例如:1010 1110 ^ 0000 0000 = 1010 1110
4、取反运算符 (~)
定义:参加运算的一个数据,按二进制进行“取反”运算。
运算规则:
~1=0
~0=1
总结:对一个二进制数按位取反,即将0变1,1变0。
异或运算的用途:
1)使一个数的最低位为零
使a的最低位为0,可以表示为:a &
~1。~1的值为 1111 1111 1111 1110,再按"与"运算,最低位一定为0。
因为“ ~”运算符的优先级比算术运算符、关系运算符、逻辑运算符和其他运算符都高。
5、左移运算符(<<)
定义:将一个运算对象的各二进制位全部左移若干位(左边的二进制位丢弃,右边补0)。
设 a=1010 1110,a = a<< 2
将a的二进制位左移2位、右补0,即最前面的10丢失。
得a=1011 1000。
若左移时舍弃的高位不包含1,则每左移一位,相当于该数乘以2。即如果a=0001 1000
a = a<< 2,左移两位,相当于前面的两个0去掉了,后面补两个0,相当于a=a*4
,即:
0001 1000 -->16+8=24
0110 0000 -->64+32=96
6、右移运算符(>>)
定义:将一个数的各二进制位全部右移若干位,正数左补0,负数左补1,右边丢弃。
例如:a=a>>2 将a的二进制位右移2位,左补0 或者 左补1得看被移数是正还是负。
操作数每右移一位,相当于该数除以2。
7、复合赋值运算符
位运算符与赋值运算符结合,组成新的复合赋值运算符,它们是:
&=
例:a&=b
相当于 a=a&b
|=
例:a|=b
相当于
a=a|b
>>=
例:a>>=b
相当于
a=a>>b
<<=
例:a<<=b
相当于
a=a<<b
^=
例:a^=b
相当于 a=a^b
不同长度的数据进行位运算:如果两个不同长度的数据进行位运算时,系统会将二者按右端对齐,然后进行位运算。
以“与运算”为例说明如下:我们知道在C语言中long型占4个字节,int型占2个字节,如果一个long型数据与一个int型数据进行“与运算“,右端对齐后,左边不足的位依下面三种情况补足,
1)如果整型数据为正数,左边补16个0。
2)如果整型数据为负数,左边补16个1。
3)如果整形数据为无符号数,左边也补16个0。
如:long a=123;int b=1;计算a& b。
如:long a=123;int b=-1;计算a& b。
如:long a=123;unsigned intb=1;计算a & b。
简单测试
public static void test(){
System.out.println(1&0); //0
System.out.println(1&1); //1
System.out.println(0&0); //0
System.out.println(1|0); //1
System.out.println(1|1); //1
System.out.println(0|0); //0
System.out.println("-------------------------------------");
System.out.println(1&4596);//0001 & xxxx 0100-->0000 0
System.out.println(2&4596);//0010 & xxxx 0100-->0000 0
System.out.println(6&4596);//0110 & xxxx 0100-->0100 4
}
0
1
0
1
1
0
-------------------------------------
0
0
4
如何用二进制控制最大生成的数量?
2的12次方=4096,即4096个数字,从0开始,不能超过4095,4095的二进制是 111111111111,12个1
//每毫秒内产生的id数 2 的 12次方
private long sequenceBits = 12L;
private long sequenceMask = -1L ^ (-1L << sequenceBits); //4095
// 这个意思是说一个毫秒内最多只能有4096个数字,无论你传递多少进来,
//这个位运算保证始终就是在4096这个范围内,避免你自己传递个sequence超过了4096这个范围
//4095:111111111111 == sequenceMask
//4096:1000000000000
//当sequence大于4095,与运算 1000000000000 & 111111111111 =0 0000 0000 0000 0000
//即sequence =0
sequence = (sequence + 1) & sequenceMask;
//当某一毫秒的时间,产生的id数 超过4095,系统会进入等待,直到下一毫秒,系统继续产生ID
if (sequence == 0) {
超过设置的最大数,业务处理逻辑
}
详细参考:
https://www.cnblogs.com/yrjns/p/11246163.html