Go map并发读写异常导致服务崩溃

昨天突然接到报警说服务端口丢失，也就是服务崩溃，看了错误日志，发现是map并发读写问题，记录下来，避免再犯类似错误。

分析错误日志

发现是调用json.marshal时出错了，错误统计如下，都是并发读写map之类的异常。

229次错误：fatal error: concurrent map iteration and map write
193次错误：fatal error: concurrent map writes
129次错误：fatal error: concurrent map read and map write

xxx/xxx.go文件的114行：

func getfeaturemap(ctx context.context, filters []*model.filterstype, driverid int64) map[string]string {
    var features []string
    for _, filterrule := range filters {
        param := filterrule.filtermap
        param["driver_id"] = strconv.formatint(driverid, 10)
        featurekeys, _ := ufs.buildkeylist(domain, []string{key}, param) // 114行
        features = append(features, featurekeys...)
    }
    ...
}

看起来就是传入的param这个map被多个协程并发写了，filterrule.filtermap是全局变量，所以这里需要修改为深拷贝。

深拷贝的函数

// deepcopymap map[string]string 类型实现深拷贝
func deepcopymap(params map[string]string) map[string]string {
    result := map[string]string{}
    for k, v := range params {
        result[k] = v
    }
    return result
}

调用深拷贝实现

把param := filterrule.filtermap修改为 param := deepcopymap(filterrule.filtermap)

---

一个简单的模拟示例

package main

import (
    "encoding/json"
    "fmt"
    "math/rand"
    "strconv"
    "sync"
    "time"
)

func main() {

    param := map[string]string{
        "name": "andy",
        "age":  "30",
    }

    f := func(i int) {
        tempmap := param
        //tempmap := deepcopymap(m) // 使用深度拷贝可以解决并发读写map的问题
        tempmap["idx"] = strconv.itoa(i)
        time.sleep(time.millisecond * time.duration(rand.intn(10)))
        json.marshal(tempmap)
    }

    var wg sync.waitgroup
    for i := 0; i < 1000; i++ {
        wg.add(1)
        go func(idx int) {
            defer wg.done()
            f(idx)
        }(i)
    }
    wg.wait()

    fmt.println("finish")
}

// deepcopymap map[string]string 类型实现深拷贝
func deepcopymap(params map[string]string) map[string]string {
    result := map[string]string{}
    for k, v := range params {
        result[k] = v
    }
    return result
}

执行上述代码，很容易报以下其中一个或多个的错误。

• fatal error: concurrent map iteration and map write
• fatal error: concurrent map writes
• fatal error: concurrent map read and map write