go中控制goroutine数量的方法

前言

goroutine被无限制的大量创建，造成的后果就不啰嗦了，主要讨论几种如何控制goroutine的方法

控制goroutine的数量

通过channel+sync

var (
 // channel长度
 poolcount      = 5
 // 复用的goroutine数量
 goroutinecount = 10
)

func pool() {
 jobschan := make(chan int, poolcount)

 // workers
 var wg sync.waitgroup
 for i := 0; i < goroutinecount; i++ {
  wg.add(1)
  go func() {
   defer wg.done()
   for item := range jobschan {
    // ...
    fmt.println(item)
   }
  }()
 }

 // senders
 for i := 0; i < 1000; i++ {
  jobschan <- i
 }

 // 关闭channel，上游的goroutine在读完channel的内容，就会通过wg的done退出
 close(jobschan)
 wg.wait()
}

通过waitgroup启动指定数量的goroutine，监听channel的通知。发送者推送信息到channel，信息处理完了，关闭channel,等待goroutine依次退出。

使用semaphore

package main

import (
 "context"
 "fmt"
 "sync"
 "time"

 "golang.org/x/sync/semaphore"
)

const (
 // 同时运行的goroutine上限
 limit = 3
 // 信号量的权重
 weight = 1
)

func main() {
 names := []string{
  "小白",
  "小红",
  "小明",
  "小李",
  "小花",
 }

 sem := semaphore.newweighted(limit)
 var w sync.waitgroup
 for _, name := range names {
  w.add(1)
  go func(name string) {
   sem.acquire(context.background(), weight)
   // ... 具体的业务逻辑
   fmt.println(name, "-吃饭了")
   time.sleep(2 * time.second)
   sem.release(weight)
   w.done()
  }(name)
 }
 w.wait()

 fmt.println("ending--------")
}

借助于x包中的semaphore，也可以进行goroutine的数量限制。

线程池

不过原本go中的协程已经是非常轻量了，对于协程池还是要根据具体的场景分析。

对于小场景使用channel+sync就可以，其他复杂的可以考虑使用第三方的协程池库。

jeffail/tunny

几个开源的线程池的设计

fasthttp中的协程池实现

fasthttp比net/http效率高很多倍的重要原因，就是利用了协程池。来看下大佬的设计思路。

1、按需增长goroutine数量，有一个最大值，同时监听channel，server会把accept到的connection放入到channel中，这样监听的goroutine就能处理消费。

2、本地维护了一个待使用的channel列表，当本地channel列表拿不到ch，会在sync.pool中取。

3、如果workerscount没达到上限，则从生成一个workerfunc监听workerchan。

4、对于待使用的channel列表，会定期清理掉超过最大空闲时间的workerchan。

看下具体实现

// workerpool通过一组工作池服务传入的连接
// 按照filo（先进后出）的顺序，即最近停止的工作人员将为下一个工作传入的连接。
//
// 这种方案能够保持cpu的缓存保持高效（理论上）
type workerpool struct {
 // 这个函数用于server的连接
 // it must leave c unclosed.
 workerfunc servehandler

 // 最大的workers数量
 maxworkerscount int

 logallerrors bool

 maxidleworkerduration time.duration

 logger logger

 lock         sync.mutex
 // 当前worker的数量
 workerscount int
 // worker停止的标识
 muststop     bool

 // 等待使用的workerchan
 // 可能会被清理
 ready []*workerchan

 // 用来标识start和stop
 stopch chan struct{}

 // workerchan的缓存池，通过sync.pool实现
 workerchanpool sync.pool

 connstate func(net.conn, connstate)
}

// workerchan的结构
type workerchan struct {
 lastusetime time.time
 ch          chan net.conn
}

start

func (wp *workerpool) start() {
 // 判断是否已经start过了
 if wp.stopch != nil {
  panic("bug: workerpool already started")
 }
 // stopch塞入值
 wp.stopch = make(chan struct{})
 stopch := wp.stopch
 wp.workerchanpool.new = func() interface{} {
  // 如果单核cpu则让workerchan阻塞
  // 否则，使用非阻塞，workerchan的长度为1
  return &workerchan{
   ch: make(chan net.conn, workerchancap),
  }
 }
 go func() {
  var scratch []*workerchan
  for {
   wp.clean(&scratch)
   select {
   // 接收到退出信号，退出
   case <-stopch:
    return
   default:
    time.sleep(wp.getmaxidleworkerduration())
   }
  }
 }()
}

// 如果单核cpu则让workerchan阻塞
// 否则，使用非阻塞，workerchan的长度为1
var workerchancap = func() int {
 // 如果gomaxprocs=1，workerchan的长度为0，变成一个阻塞的channel
 if runtime.gomaxprocs(0) == 1 {
  return 0
 }

 // 如果gomaxprocs>1则使用非阻塞的workerchan
 return 1
}()

梳理下流程：

1、首先判断下stopch是否为nil，不为nil表示已经started了；

2、初始化wp.stopch = make(chan struct{})，stopch是一个标识，用了struct{}不用bool，因为空结构体变量的内存占用大小为0，而bool类型内存占用大小为1，这样可以更加最大化利用我们服务器的内存空间；

3、设置workerchanpool的new函数，然后可以在get不到东西时，自动创建一个；如果单核cpu则让workerchan阻塞，否则，使用非阻塞，workerchan的长度设置为1；

4、启动一个goroutine，处理clean操作，在接收到退出信号，退出。

stop

func (wp *workerpool) stop() {
 // 同start，stop也只能触发一次
 if wp.stopch == nil {
  panic("bug: workerpool wasn't started")
 }
 // 关闭stopch
 close(wp.stopch)
 // 将stopch置为nil
 wp.stopch = nil

 // 停止所有的等待获取连接的workers
 // 正在运行的workers，不需要等待他们退出，他们会在完成connection或muststop被设置成true退出
 wp.lock.lock()
 ready := wp.ready
 // 循环将ready的workerchan置为nil
 for i := range ready {
  ready[i].ch <- nil
  ready[i] = nil
 }
 wp.ready = ready[:0]
 // 设置muststop为true
 wp.muststop = true
 wp.lock.unlock()
}

梳理下流程：

1、判断stop只能被关闭一次；

2、关闭stopch，设置stopch为nil；

3、停止所有的等待获取连接的workers，正在运行的workers，不需要等待他们退出，他们会在完成connection或muststop被设置成true退出。

clean

func (wp *workerpool) clean(scratch *[]*workerchan) {
 maxidleworkerduration := wp.getmaxidleworkerduration()

 // 清理掉最近最少使用的workers如果他们过了maxidleworkerduration时间没有提供服务
 criticaltime := time.now().add(-maxidleworkerduration)

 wp.lock.lock()
 ready := wp.ready
 n := len(ready)

 // 使用二分搜索算法找出最近可以被清除的worker
 // 最后使用的workerchan 一定是放回队列尾部的。
 l, r, mid := 0, n-1, 0
 for l <= r {
  mid = (l + r) / 2
  if criticaltime.after(wp.ready[mid].lastusetime) {
   l = mid + 1
  } else {
   r = mid - 1
  }
 }
 i := r
 if i == -1 {
  wp.lock.unlock()
  return
 }

 // 将ready中i之前的的全部清除
 *scratch = append((*scratch)[:0], ready[:i+1]...)
 m := copy(ready, ready[i+1:])
 for i = m; i < n; i++ {
  ready[i] = nil
 }
 wp.ready = ready[:m]
 wp.lock.unlock()

 // 通知淘汰的workers停止
 // 此通知必须位于wp.lock之外，因为ch.ch
 // 如果有很多workers，可能会阻塞并且可能会花费大量时间
 // 位于非本地cpu上。
 tmp := *scratch
 for i := range tmp {
  tmp[i].ch <- nil
  tmp[i] = nil
 }
}

主要是清理掉最近最少使用的workers如果他们过了maxidleworkerduration时间没有提供服务

getch

获取一个workerchan

func (wp *workerpool) getch() *workerchan {
 var ch *workerchan
 createworker := false

 wp.lock.lock()
 ready := wp.ready
 n := len(ready) - 1
 // 如果ready为空
 if n < 0 {
  if wp.workerscount < wp.maxworkerscount {
   createworker = true
   wp.workerscount++
  }
 } else {
  // 不为空从ready中取一个
  ch = ready[n]
  ready[n] = nil
  wp.ready = ready[:n]
 }
 wp.lock.unlock()

 // 如果没拿到ch
 if ch == nil {
  if !createworker {
   return nil
  }
  // 从缓存中获取一个ch
  vch := wp.workerchanpool.get()
  ch = vch.(*workerchan)
  go func() {
   // 具体的执行函数
   wp.workerfunc(ch)
   // 再放入到pool中
   wp.workerchanpool.put(vch)
  }()
 }
 return ch
}

梳理下流程：

1、获取一个可执行的workerchan，如果ready中为空，并且workerscount没有达到最大值，增加workerscount数量，并且设置当前操作createworker = true；

2、ready中不为空，直接在ready获取一个；

3、如果没有获取到则在sync.pool中获取一个，之后再放回到pool中；

4、拿到了就启动一个workerfunc监听workerchan，处理具体的业务逻辑。

workerfunc

func (wp *workerpool) workerfunc(ch *workerchan) {
 var c net.conn

 var err error
 // 监听workerchan
 for c = range ch.ch {
  if c == nil {
   break
  }

  // 具体的业务逻辑
  ...
  c = nil

  // 释放workerchan
  // 在muststop的时候将会跳出循环
  if !wp.release(ch) {
   break
  }
 }

 wp.lock.lock()
 wp.workerscount--
 wp.lock.unlock()
}

// 把conn放入到channel中
func (wp *workerpool) serve(c net.conn) bool {
 ch := wp.getch()
 if ch == nil {
  return false
 }
 ch.ch <- c
 return true
}

func (wp *workerpool) release(ch *workerchan) bool {
 // 修改 ch.lastusetime
 ch.lastusetime = time.now()
 wp.lock.lock()
 // 如果需要停止，直接返回
 if wp.muststop {
  wp.lock.unlock()
  return false
 }
 // 将ch放到ready中
 wp.ready = append(wp.ready, ch)
 wp.lock.unlock()
 return true
}

梳理下流程：

1、workerfunc会监听workerchan，并且在使用完workerchan归还到ready中；

2、serve会把connection放入到workerchan中，这样workerfunc就能通过workerchan拿到需要处理的连接请求；

3、当workerfunc拿到的workerchan为nil或wp.muststop被设为了true，就跳出for循环。

panjf2000/ants

先看下示例

示例一

package main

import (
 "fmt"
 "sync"
 "sync/atomic"
 "time"

 "github.com/panjf2000/ants"
)

func demofunc() {
 time.sleep(10 * time.millisecond)
 fmt.println("hello world!")
}

func main() {
 defer ants.release()

 runtimes := 1000

 var wg sync.waitgroup
 synccalculatesum := func() {
  demofunc()
  wg.done()
 }
 for i := 0; i < runtimes; i++ {
  wg.add(1)
  _ = ants.submit(synccalculatesum)
 }
 wg.wait()
 fmt.printf("running goroutines: %d\n", ants.running())
 fmt.printf("finish all tasks.\n")
}

示例二

package main

import (
 "fmt"
 "sync"
 "sync/atomic"
 "time"

 "github.com/panjf2000/ants"
)

var sum int32

func myfunc(i interface{}) {
 n := i.(int32)
 atomic.addint32(&sum, n)
 fmt.printf("run with %d\n", n)
}

func main() {
 var wg sync.waitgroup
 runtimes := 1000

 // use the pool with a method,
 // set 10 to the capacity of goroutine pool and 1 second for expired duration.
 p, _ := ants.newpoolwithfunc(10, func(i interface{}) {
  myfunc(i)
  wg.done()
 })
 defer p.release()
 // submit tasks one by one.
 for i := 0; i < runtimes; i++ {
  wg.add(1)
  _ = p.invoke(int32(i))
 }
 wg.wait()
 fmt.printf("running goroutines: %d\n", p.running())
 fmt.printf("finish all tasks, result is %d\n", sum)
 if sum != 499500 {
  panic("the final result is wrong!!!")
 }
}

设计思路

整体的设计思路

梳理下思路：

1、先初始化缓存池的大小，然后处理任务事件的时候，一个task分配一个goworker；

2、在拿goworker的过程中会存在下面集中情况；

• 本地的缓存中有空闲的goworker，直接取出；
• 本地缓存没有就去sync.pool，拿一个goworker；

3、如果缓存池满了，非阻塞模式直接返回nil，阻塞模式就循环去拿直到成功拿出一个；

4、同时也会定期清理掉过期的goworker,通过sync.cond唤醒其的阻塞等待；

5、对于使用完成的goworker在使用完成之后重新归还到pool。

具体的设计细节可参考，作者的文章goroutine 并发调度模型深度解析之手撸一个高性能 goroutine 池

go-playground/pool

go-playground/pool会在一开始就启动

先放几个使用的demo

per unit work

package main

import (
 "fmt"
 "time"

 "gopkg.in/go-playground/pool.v3"
)

func main() {

 p := pool.newlimited(10)
 defer p.close()

 user := p.queue(getuser(13))
 other := p.queue(getotherinfo(13))

 user.wait()
 if err := user.error(); err != nil {
  // handle error
 }

 // do stuff with user
 username := user.value().(string)
 fmt.println(username)

 other.wait()
 if err := other.error(); err != nil {
  // handle error
 }

 // do stuff with other
 otherinfo := other.value().(string)
 fmt.println(otherinfo)
}

func getuser(id int) pool.workfunc {

 return func(wu pool.workunit) (interface{}, error) {

  // simulate waiting for something, like tcp connection to be established
  // or connection from pool grabbed
  time.sleep(time.second * 1)

  if wu.iscancelled() {
   // return values not used
   return nil, nil
  }

  // ready for processing...

  return "joeybloggs", nil
 }
}

func getotherinfo(id int) pool.workfunc {

 return func(wu pool.workunit) (interface{}, error) {

  // simulate waiting for something, like tcp connection to be established
  // or connection from pool grabbed
  time.sleep(time.second * 1)

  if wu.iscancelled() {
   // return values not used
   return nil, nil
  }

  // ready for processing...

  return "other info", nil
 }
}

batch work

package main

import (
 "fmt"
 "time"

 "gopkg.in/go-playground/pool.v3"
)

func main() {

 p := pool.newlimited(10)
 defer p.close()

 batch := p.batch()

 // for max speed queue in another goroutine
 // but it is not required, just can't start reading results
 // until all items are queued.

 go func() {
  for i := 0; i < 10; i++ {
   batch.queue(sendemail("email content"))
  }

  // do not forget this or goroutines will deadlock
  // if calling cancel() it calles queuecomplete() internally
  batch.queuecomplete()
 }()

 for email := range batch.results() {

  if err := email.error(); err != nil {
   // handle error
   // maybe call batch.cancel()
  }

  // use return value
  fmt.println(email.value().(bool))
 }
}

func sendemail(email string) pool.workfunc {
 return func(wu pool.workunit) (interface{}, error) {

  // simulate waiting for something, like tcp connection to be established
  // or connection from pool grabbed
  time.sleep(time.second * 1)

  if wu.iscancelled() {
   // return values not used
   return nil, nil
  }

  // ready for processing...

  return true, nil // everything ok, send nil, error if not
 }
}

来看下实现

workunit

workunit作为channel信息进行传递，用来给work传递当前需要执行的任务信息。

// workunit contains a single uint of works values
type workunit interface {

 // 阻塞直到当前任务被完成或被取消
 wait()

 // 执行函数返回的结果
 value() interface{}

 // error returns the work unit's error
 error() error

 // 取消当前的可执行任务
 cancel()

 // 判断当前的可执行单元是否被取消了
 iscancelled() bool
}

var _ workunit = new(workunit)

// workunit contains a single unit of works values
type workunit struct {
 // 任务执行的结果
 value      interface{}
 // 错误信息
 err        error
 // 通知任务完成
 done       chan struct{}
 // 需要执行的任务函数
 fn         workfunc
 // 任务是会否被取消
 cancelled  atomic.value
 // 是否正在取消任务
 cancelling atomic.value
 // 任务是否正在执行
 writing    atomic.value
}

limitedpool

var _ pool = new(limitedpool)

// limitedpool contains all information for a limited pool instance.
type limitedpool struct {
 // 并发量
 workers uint
 // work的channel
 work    chan *workunit
 // 通知结束的channel
 cancel  chan struct{}
 // 是否关闭的标识
 closed  bool
 // 读写锁
 m       sync.rwmutex
}

// 初始化一个pool
func newlimited(workers uint) pool {

 if workers == 0 {
  panic("invalid workers '0'")
 }
 // 初始化pool的work数量
 p := &limitedpool{
  workers: workers,
 }
 // 初始化pool的操作
 p.initialize()

 return p
}

func (p *limitedpool) initialize() {
 // channel的长度为work数量的两倍
 p.work = make(chan *workunit, p.workers*2)
 p.cancel = make(chan struct{})
 p.closed = false

 // fire up workers here
 for i := 0; i < int(p.workers); i++ {
  p.newworker(p.work, p.cancel)
 }
}

// 将工作传递并取消频道到newworker（）以避免任何潜在的竞争状况
// 在p.work读写之间
func (p *limitedpool) newworker(work chan *workunit, cancel chan struct{}) {
 go func(p *limitedpool) {

  var wu *workunit

  defer func(p *limitedpool) {
   // 捕获异常，结束掉异常的工作单元，并将其再次作为新的任务启动
   if err := recover(); err != nil {

    trace := make([]byte, 1<<16)
    n := runtime.stack(trace, true)

    s := fmt.sprintf(errrecovery, err, string(trace[:int(math.min(float64(n), float64(7000)))]))

    iwu := wu
    iwu.err = &errrecovery{s: s}
    close(iwu.done)

    // 重新启动
    p.newworker(p.work, p.cancel)
   }
  }(p)

  var value interface{}
  var err error
  // 监听channel，读取内容
  for {
   select {
   // channel中取出数据
   case wu = <-work:

    // 防止channel 被关闭后读取到零值
    if wu == nil {
     continue
    }

    // 单个和批量的cancellation这个都支持
    if wu.cancelled.load() == nil {
     // 执行我们的业务函数
     value, err = wu.fn(wu)

     wu.writing.store(struct{}{})

     // 如果workfunc取消了此工作单元，则需要再次检查
     // 防止产生竞争条件
     if wu.cancelled.load() == nil && wu.cancelling.load() == nil {
      wu.value, wu.err = value, err

      // 执行完成，关闭当前channel
      close(wu.done)
     }
    }
    // 如果取消了，就退出
   case <-cancel:
    return
   }
  }

 }(p)
}

// 放置一个执行的task到channel，并返回channel
func (p *limitedpool) queue(fn workfunc) workunit {
 // 初始化一个workunit类型的channel
 w := &workunit{
  done: make(chan struct{}),
  // 具体的执行函数
  fn:   fn,
 }

 go func() {
  p.m.rlock()
  // 如果pool关闭的时候通知channel关闭
  if p.closed {
   w.err = &errpoolclosed{s: errclosed}
   if w.cancelled.load() == nil {
    close(w.done)
   }
   p.m.runlock()
   return
  }
  // 将channel传递给pool的work
  p.work <- w

  p.m.runlock()
 }()

 return w
}

梳理下流程：

1、首先初始化pool的大小；

2、然后根据pool的大小启动对应数量的worker，阻塞等待channel被塞入可执行函数；

3、然后可执行函数会被放入workunit，然后通过channel传递给阻塞的worker。

同样这里也提供了批量执行的方法

batch

// batch contains all information for a batch run of workunits
type batch struct {
 pool    pool
 m       sync.mutex
 // workunit的切片
 units   []workunit
 // 结果集,执行完后的workunit会更新其value,error,可以从结果集channel中读取
 results chan workunit
 // 通知batch是否完成
 done    chan struct{}
 closed  bool
 wg      *sync.waitgroup
}

// 初始化batch
func newbatch(p pool) batch {
 return &batch{
  pool:    p,
  units:   make([]workunit, 0, 4),
  results: make(chan workunit),
  done:    make(chan struct{}),
  wg:      new(sync.waitgroup),
 }
}


// 将workfunc放入到workunit中并保留取消和输出结果的参考。
func (b *batch) queue(fn workfunc) {

 b.m.lock()

 if b.closed {
  b.m.unlock()
  return
 }
 // 返回一个workunit
 wu := b.pool.queue(fn)

 // 放到workunit的切片中
 b.units = append(b.units, wu)
 // 通过waitgroup进行goroutine的执行控制
 b.wg.add(1)
 b.m.unlock()

 // 执行任务
 go func(b *batch, wu workunit) {
  wu.wait()
  // 将执行的结果写入到results中
  b.results <- wu
  b.wg.done()
 }(b, wu)
}


// queuecomplete让批处理知道不再有排队的工作单元
// 以便在所有工作完成后可以关闭结果渠道。
// 警告：如果未调用此函数，则结果通道将永远不会耗尽，
// 但会永远阻止以获取更多结果。
func (b *batch) queuecomplete() {
 b.m.lock()
 b.closed = true
 close(b.done)
 b.m.unlock()
}

// 取消批次的任务
func (b *batch) cancel() {

 b.queuecomplete()

 b.m.lock()

 // 一个个取消units，倒叙的取消
 for i := len(b.units) - 1; i >= 0; i-- {
  b.units[i].cancel()
 }

 b.m.unlock()
}

// 输出执行完成的结果集
func (b *batch) results() <-chan workunit {
 // 启动一个协程监听完成的通知
 // waitgroup阻塞直到所有的worker都完成退出
 // 最后关闭channel
 go func(b *batch) {
  <-b.done
  b.m.lock()
  // 阻塞直到上面waitgroup中的goroutine一个个执行完成退出
  b.wg.wait()
  b.m.unlock()
  // 关闭channel
  close(b.results)
 }(b)

 return b.results
}

梳理下流程：

1、首先初始化batch的大小；

2、然后queue将一个个workfunc放入到workunit中，执行，并将结果写入到results中，全部执行完成，调用queuecomplete，发送执行完成的通知；

3、results会打印出所有的结果集，同时监听所有的worker执行完成，关闭channel，退出。

总结

控制goroutine数量一般使用两种方式：

• 简单的场景使用sync+channel就可以了；
• 复杂的场景可以使用goroutine pool

参考
【golang 开发需要协程池吗？】
【来，控制一下 goroutine 的并发数量】
【golang协程池设计】
【fasthttp中的协程池实现】
【panjf2000/ants】
【golang协程池设计】

到此这篇关于go中控制goroutine数量的方法的文章就介绍到这了,更多相关go控制goroutine数量内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！