欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Go map并发读写异常导致服务崩溃

程序员文章站 2022-06-23 22:33:06
昨天突然接到报警说服务端口丢失,也就是服务崩溃,看了错误日志,发现是map并发读写问题,记录下来,避免再犯类似错误。 分析错误日志 发现是调用json.Marshal时出错了,错误统计如下,都是并发读写map之类的异常。 xxx/xxx.go文件的114行: 看起来就是传入的param这个map被多 ......

昨天突然接到报警说服务端口丢失,也就是服务崩溃,看了错误日志,发现是map并发读写问题,记录下来,避免再犯类似错误。

分析错误日志

发现是调用json.marshal时出错了,错误统计如下,都是并发读写map之类的异常。

229次错误:fatal error: concurrent map iteration and map write
193次错误:fatal error: concurrent map writes
129次错误:fatal error: concurrent map read and map write

xxx/xxx.go文件的114行:

func getfeaturemap(ctx context.context, filters []*model.filterstype, driverid int64) map[string]string {
    var features []string
    for _, filterrule := range filters {
        param := filterrule.filtermap
        param["driver_id"] = strconv.formatint(driverid, 10)
        featurekeys, _ := ufs.buildkeylist(domain, []string{key}, param) // 114行
        features = append(features, featurekeys...)
    }
    ...
}

看起来就是传入的param这个map被多个协程并发写了,filterrule.filtermap是全局变量,所以这里需要修改为深拷贝。

深拷贝的函数

// deepcopymap map[string]string 类型实现深拷贝
func deepcopymap(params map[string]string) map[string]string {
    result := map[string]string{}
    for k, v := range params {
        result[k] = v
    }
    return result
}

调用深拷贝实现

param := filterrule.filtermap修改为 param := deepcopymap(filterrule.filtermap)


一个简单的模拟示例

package main

import (
    "encoding/json"
    "fmt"
    "math/rand"
    "strconv"
    "sync"
    "time"
)

func main() {

    param := map[string]string{
        "name": "andy",
        "age":  "30",
    }

    f := func(i int) {
        tempmap := param
        //tempmap := deepcopymap(m) // 使用深度拷贝可以解决并发读写map的问题
        tempmap["idx"] = strconv.itoa(i)
        time.sleep(time.millisecond * time.duration(rand.intn(10)))
        json.marshal(tempmap)
    }

    var wg sync.waitgroup
    for i := 0; i < 1000; i++ {
        wg.add(1)
        go func(idx int) {
            defer wg.done()
            f(idx)
        }(i)
    }
    wg.wait()

    fmt.println("finish")
}

// deepcopymap map[string]string 类型实现深拷贝
func deepcopymap(params map[string]string) map[string]string {
    result := map[string]string{}
    for k, v := range params {
        result[k] = v
    }
    return result
}

执行上述代码,很容易报以下其中一个或多个的错误。

  • fatal error: concurrent map iteration and map write
  • fatal error: concurrent map writes
  • fatal error: concurrent map read and map write