go-zero 应对海量定时/延迟任务的技巧

一个系统中存在着大量的调度任务，同时调度任务存在时间的滞后性，而大量的调度任务如果每一个都使用自己的调度器来管理任务的生命周期的话，浪费cpu的资源而且很低效。

本文来介绍 go-zero 中 延迟操作，它可能让开发者调度多个任务时，只需关注具体的业务执行函数和执行时间「立即或者延迟」。而 延迟操作，通常可以采用两个方案：

timer：定时器维护一个优先队列，到时间点执行，然后把需要执行的 task 存储在 map 中collection 中的 timingwheel ，维护一个存放任务组的数组，每一个槽都维护一个存储task的双向链表。开始执行时，计时器每隔指定时间执行一个槽里面的tasks。

方案2把维护task从 优先队列 o(nlog(n)) 降到 双向链表 o(1)，而执行task也只要轮询一个时间点的tasks o(n)，不需要像优先队列，放入和删除元素 o(nlog(n))。

我们先看看 go-zero 中自己对 timingwheel 的使用 ：

cache 中的 timingwheel

首先我们先来在 collection 的 cache 中关于 timingwheel 的使用：

这是 cache 初始化中也同时初始化 timingwheel 做key的过期处理，参数依次代表：

• interval：时间划分刻度
• numslots：时间槽
• execute：时间点执行函数

在 cache 中执行函数则是 删除过期key，而这个过期则由 timingwheel 来控制推进时间。

接下来，就通过 cache 对 timingwheel 的使用来认识。

初始化

以上比较直观展示 timingwheel 的 “时间轮”，后面会围绕这张图解释其中推进的细节。

go tw.run() 开一个协程做时间推动：

可以看出，在初始化的时候就开始了 timer 执行，并以internal时间段转动，然后底层不停的获取来自 slot 中的 list 的task，交给 execute 执行。

task operation

紧接着就是设置 cache key ：

先看在 data map 中有没有存在这个key存在，则更新 expire -> movetimer()第一次设置key -> settimer()

所以对于 timingwheel 的使用上就清晰了，开发者根据需求可以 add 或是 update。

同时我们跟源码进去会发现：settimer() movetimer() 都是将task输送到channel，由 run() 中开启的协程不断取出 channel 的task操作。

settimer() -> settask()：

not exist task：getpostion -> pushback to list -> setpositionexist task：get from timers -> movetask()

movetimer() -> movetask()

由上面的调用链，有一个都会调用的函数：movetask()

以上过程有以下几种情况：

delay < internal：因为 < 单个时间精度，表示这个任务已经过期，需要马上执行针对改变的 delay：new >= old：<newpos, newcircle, diff>newcircle > 0：计算diff，并将 circle 转换为 下一层，故diff + numslots如果只是单纯延迟时间缩短，则将老的task标记删除，重新加入list，等待下一轮loop被execute

execute

之前在初始化中，run() 中定时器的不断推进，推进的过程主要就是把 list中的 task 传给执行的 execute func。我们从定时器的执行开始看：

紧接着是如何去执行 execute：

具体的分支情况在注释中说明了，在看的时候可以和前面的 movetask() 结合起来，其中 circle 下降，diff 的计算是关联两个函数的重点。

至于 diff 计算就涉及到 pos, circle 的计算：

上面的过程可以简化成下面：

总结

timingwheel 靠定时器推动，时间前进的同时会取出当前时间格中 list「双向链表」的task，传递到 execute 中执行。因为是是靠 internal 固定时间刻度推进，可能就会出现：一个 60s 的task，internal = 1s，这样就会空跑59次loop。

而在扩展时间上，采取 circle 分层，这样就可以不断复用原有的 numslots ，因为定时器在不断 loop，而执行可以把上层的 slot 下降到下层，在不断 loop 中就可以执行到上层的task。这样的设计可以在不创造额外的数据结构，突破长时间的限制。

同时在 go-zero 中还有很多实用的组件工具，用好工具对于提升服务性能和开发效率都有很大的帮助，希望本篇文章能给大家带来一些收获。

项目地址

好未来技术

到此这篇关于go-zero 如何应对海量定时/延迟任务的文章就介绍到这了,更多相关go-zero定时/延迟任务内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！