分布式ID生成器
程序员文章站
2022-06-19 21:15:29
在高并发或者分表分库情况下怎么保证数据id的幂等性呢？ 经常用到的解决方案有以下几种： 1. 微软公司通用唯一识别码（UUID） 2. Twitter公司雪花算法（SnowFlake） 3. 基于数据库的id自增 4. 对id进行缓 本文将对snowflake算法进行讲解： 1. snowflake ......
在高并发或者分表分库情况下怎么保证数据id的幂等性呢？
经常用到的解决方案有以下几种：
1. 微软公司通用唯一识别码（uuid）
2. twitter公司雪花算法（snowflake）
3. 基于数据库的id自增
4. 对id进行缓
本文将对snowflake算法进行讲解：
1. snowflake是twitter开源的分布式id生成算法，结果是一个long型的id。
2. 其核心思想是：使用41bit作为毫秒数，10bit作为机器的id（5个bit是数据中心，5个bit的机器id），12bit作为毫秒内的流水号，最后还有一个符号位，永远是0。
snowflake算法所生成的id结构:
1. 整个结构是64位，所以我们在java中可以使用long来进行存储。
2. 该算法实现基本就是二进制操作,单机每秒内理论上最多可以生成1024*(2^12)，也就是409.6万个id(1024 x 4096 = 4194304)
64位说明：
1. 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000
2. 1位标识，由于long基本类型在java中是带符号的，最高位是符号位，正数是0，负数是1，所以id一般是正数，最高位是0
3. 41位时间截(毫秒级)，注意，41位时间截不是存储当前时间的时间截，而是存储时间截的差值（当前时间截 - 开始时间截) 得到的值）。
这里的的开始时间截，一般是我们的id生成器开始使用的时间，由我们程序来指定的（如下下面程序idworker类的starttime属性）。
41位的时间截，可以使用69年，年t = (1l << 41) / (1000l * 60 * 60 * 24 * 365) = 69
4. 10位的数据机器位，可以部署在1024个节点，包括5位datacenterid和5位workerid
5. 12位序列，毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间截)产生4096个id序号加起来刚好64位，为一个long型。
snowflake的优点:
1. 整体上按照时间自增排序，并且整个分布式系统内不会产生id碰撞(由数据中心id和机器id作区分)，并且效率较高，经测试，snowflake每秒能够产生26万id左右。
2. 生成id时不依赖于db，完全在内存生成，高性能高可用。
3. id呈趋势递增，后续插入索引树的时候性能较好。
snowflake算法的缺点：
依赖于系统时钟的一致性。如果某台机器的系统时钟回拨，有可能造成id冲突，或者id乱序
算法代码如下：
1 /**
2 * 功能描述：snowflake算法
3 * @author panhu sun
4 * @date 2019/12/1 18:47
5 */
6 public class snowflakeidworker {
7 // ==============================fields==================
8 /** 开始时间截 (2019-08-06) */
9 private final long twepoch = 1565020800000l;
10
11 /** 机器id所占的位数 */
12 private final long workeridbits = 5l;
13
14 /** 数据标识id所占的位数 */
15 private final long datacenteridbits = 5l;
16
17 /** 支持的最大机器id，结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数) */
18 private final long maxworkerid = -1l ^ (-1l << workeridbits);
19
20 /** 支持的最大数据标识id，结果是31 */
21 private final long maxdatacenterid = -1l ^ (-1l << datacenteridbits);
22
23 /** 序列在id中占的位数 */
24 private final long sequencebits = 12l;
25
26 /** 机器id向左移12位 */
27 private final long workeridshift = sequencebits;
28
29 /** 数据标识id向左移17位(12+5) */
30 private final long datacenteridshift = sequencebits + workeridbits;
31
32 /** 时间截向左移22位(5+5+12) */
33 private final long timestampleftshift = sequencebits + workeridbits + datacenteridbits;
34
35 /** 生成序列的掩码，这里为4095 (0b111111111111=0xfff=4095) */
36 private final long sequencemask = -1l ^ (-1l << sequencebits);
37
38 /** 工作机器id(0~31) */
39 private long workerid;
40
41 /** 数据中心id(0~31) */
42 private long datacenterid;
43
44 /** 毫秒内序列(0~4095) */
45 private long sequence = 0l;
46
47 /** 上次生成id的时间截 */
48 private long lasttimestamp = -1l;
49
50 //==============================constructors====================
51 /**
52 * 构造函数
53 * @param workerid 工作id (0~31)
54 * @param datacenterid 数据中心id (0~31)
55 */
56 public snowflakeidworker(long workerid, long datacenterid) {
57 if (workerid > maxworkerid || workerid < 0) {
58 throw new illegalargumentexception(string.format("worker id can't be greater than %d or less than 0", maxworkerid));
59 }
60 if (datacenterid > maxdatacenterid || datacenterid < 0) {
61 throw new illegalargumentexception(string.format("datacenter id can't be greater than %d or less than 0", maxdatacenterid));
62 }
63 this.workerid = workerid;
64 this.datacenterid = datacenterid;
65 }
66
67 // ==============================methods=================================
68 /**
69 * 获得下一个id (该方法是线程安全的)
70 * @return snowflakeid
71 */
72 public synchronized long nextid() {
73 long timestamp = timegen();
74
75 //如果当前时间小于上一次id生成的时间戳，说明系统时钟回退过这个时候应当抛出异常
76 if (timestamp < lasttimestamp) {
77 throw new runtimeexception(
78 string.format("clock moved backwards. refusing to generate id for %d milliseconds", lasttimestamp - timestamp));
79 }
80
81 //如果是同一时间生成的，则进行毫秒内序列
82 if (lasttimestamp == timestamp) {
83 sequence = (sequence + 1) & sequencemask;
84 //毫秒内序列溢出
85 if (sequence == 0) {
86 //阻塞到下一个毫秒,获得新的时间戳
87 timestamp = tilnextmillis(lasttimestamp);
88 }
89 }
90 //时间戳改变，毫秒内序列重置
91 else {
92 sequence = 0l;
93 }
94
95 //上次生成id的时间截
96 lasttimestamp = timestamp;
97
98 //移位并通过或运算拼到一起组成64位的id
99 return ((timestamp - twepoch) << timestampleftshift) //
100 | (datacenterid << datacenteridshift) //
101 | (workerid << workeridshift) //
102 | sequence;
103 }
104
105 /**
106 * 阻塞到下一个毫秒，直到获得新的时间戳
107 * @param lasttimestamp 上次生成id的时间截
108 * @return 当前时间戳
109 */
110 protected long tilnextmillis(long lasttimestamp) {
111 long timestamp = timegen();
112 while (timestamp <= lasttimestamp) {
113 timestamp = timegen();
114 }
115 return timestamp;
116 }
117
118 /**
119 * 返回以毫秒为单位的当前时间
120 * @return 当前时间(毫秒)
121 */
122 protected long timegen() {
123 return system.currenttimemillis();
124 }
125
126 //==============================test=============================================
127 /** 测试 */
128 public static void main(string[] args) {
129 snowflakeidworker idworker = new snowflakeidworker(0, 0);
130 for (int i = 0; i < 1000; i++) {
131 long id = idworker.nextid();
132 system.out.println(long.tobinarystring(id));
133 system.out.println(id);
134 }
135 }
136 }
快速使用snowflake算法只需以下几步：
1. 引入hutool依赖
1 <dependency> 2 <groupid>cn.hutool</groupid> 3 <artifactid>hutool-captcha</artifactid> 4 <version>5.0.6</version> 5 </dependency>
2. id 生成器
1 import cn.hutool.core.date.datepattern;
2 import cn.hutool.core.lang.objectid;
3 import cn.hutool.core.lang.snowflake;
4 import cn.hutool.core.net.netutil;
5 import cn.hutool.core.util.idutil;
6 import cn.hutool.core.util.randomutil;
7 import lombok.extern.slf4j.slf4j;
8 import org.joda.time.datetime;
9
10 import javax.annotation.postconstruct;
11 import java.util.concurrent.executorservice;
12 import java.util.concurrent.executors;
13
14 /**
15 * 功能描述：
16 * @author panhu sun
17 * @date 2019/12/1 18:50
18 */
19 @slf4j
20 public class idgenerator {
21
22 private long workerid = 0;
23
24 @postconstruct
25 void init() {
26 try {
27 workerid = netutil.ipv4tolong(netutil.getlocalhoststr());
28 log.info("当前机器 workerid: {}", workerid);
29 } catch (exception e) {
30 log.warn("获取机器 id 失败", e);
31 workerid = netutil.getlocalhost().hashcode();
32 log.info("当前机器 workerid: {}", workerid);
33 }
34 }
35
36 /**
37 * 获取一个批次号，形如 2019071015301361000101237
38 * 数据库使用 char(25) 存储
39 * @param tenantid 租户id，5 位
40 * @param module 业务模块id，2 位
41 * @return 返回批次号
42 */
43 public static synchronized string batchid(int tenantid, int module) {
44 string prefix = datetime.now().tostring(datepattern.pure_datetime_ms_pattern);
45 return prefix + tenantid + module + randomutil.randomnumbers(3);
46 }
47
48 @deprecated
49 public synchronized string getbatchid(int tenantid, int module) {
50 return batchid(tenantid, module);
51 }
52
53 /**
54 * 生成的是不带-的字符串，类似于：b17f24ff026d40949c85a24f4f375d42
55 * @return
56 */
57 public static string simpleuuid() {
58 return idutil.simpleuuid();
59 }
60
61 /**
62 * 生成的uuid是带-的字符串，类似于：a5c8a5e8-df2b-4706-bea4-08d0939410e3
63 * @return
64 */
65 public static string randomuuid() {
66 return idutil.randomuuid();
67 }
68
69 private snowflake snowflake = idutil.createsnowflake(workerid, 1);
70
71 public synchronized long snowflakeid() {
72 return snowflake.nextid();
73 }
74
75 public synchronized long snowflakeid(long workerid, long datacenterid) {
76 snowflake snowflake = idutil.createsnowflake(workerid, datacenterid);
77 return snowflake.nextid();
78 }
79
80 /**
81 * 生成类似：5b9e306a4df4f8c54a39fb0c
82 * objectid 是 mongodb 数据库的一种唯一 id 生成策略，
83 * 是 uuid version1 的变种，详细介绍可见：服务化框架－分布式 unique id 的生成方法一览。
84 * @return
85 */
86 public static string objectid() {
87 return objectid.next();
88 }
89
90
91
92
93 // 测试
94 public static void main(string[] args) {
95 // 还会有重复的
96 // for (int i = 0; i < 100; i++) {
97 // string batchid = batchid(1001, 100);
98 // log.info("批次号: {}", batchid);
99 // }
100
101 // uuid 不带 -
102 // for (int i = 0; i < 100; i++) {
103 // string simpleuuid = simpleuuid();
104 // log.info("simpleuuid: {}", simpleuuid);
105 // }
106
107 // uuid 带 -
108 // for (int i = 0; i < 100; i++) {
109 // string randomuuid = randomuuid();
110 // log.info("randomuuid: {}", randomuuid);
111 // }
112
113 // 没有重复
114 // for (int i = 0; i < 100; i++) {
115 // string objectid = objectid();
116 // log.info("objectid: {}", objectid);
117 // }
118
119 executorservice executorservice = executors.newfixedthreadpool(20);
120 idgenerator idgenerator = new idgenerator();
121 for (int i = 0; i < 100; i++) {
122 executorservice.execute(() -> {
123 log.info("分布式 id: {}", idgenerator.snowflakeid());
124 });
125 }
126 executorservice.shutdown();
127 }
128 }
3. 测试类
1 public class idgeneratortest {
2 @autowired
3 private idgenerator idgenerator;
4
5 @test
6 public void testbatchid() {
7 for (int i = 0; i < 100; i++) {
8 string batchid = idgenerator.batchid(1001, 100);
9 log.info("批次号: {}", batchid);
10 }
11 }
12
13 @test
14 public void testsimpleuuid() {
15 for (int i = 0; i < 100; i++) {
16 string simpleuuid = idgenerator.simpleuuid();
17 log.info("simpleuuid: {}", simpleuuid);
18 }
19 }
20
21 @test
22 public void testrandomuuid() {
23 for (int i = 0; i < 100; i++) {
24 string randomuuid = idgenerator.randomuuid();
25 log.info("randomuuid: {}", randomuuid);
26 }
27 }
28
29 @test
30 public void testobjectid() {
31 for (int i = 0; i < 100; i++) {
32 string objectid = idgenerator.objectid();
33 log.info("objectid: {}", objectid);
34 }
35 }
36
37 @test
38 public void testsnowflakeid() {
39 executorservice executorservice = executors.newfixedthreadpool(20);
40 for (int i = 0; i < 20; i++) {
41 executorservice.execute(() -> {
42 log.info("分布式 id: {}", idgenerator.snowflakeid());
43 });
44 }
45 executorservice.shutdown();
46 }
47 }
运行结果：
注：在项目中我们只需要注入 @autowired private idgenerator idgenerator;即可，然后设置id order.setid(idgenerator.snowflakeid() + "");
转载链接：https://juejin.im/post/5d8882d8f265da03e369c063