go-gin-api 路由中间件 - 日志记录

概述

首先同步下项目概况：



上篇文章分享了，规划项目目录和参数验证，其中参数验证使用的是 validator.v8 版本，现已更新到 validator.v9 版本，最新代码查看 github 即可。

这篇文章咱们分享：路由中间件 - 日志记录。

日志是特别重要的一个东西，方便我们对问题进行排查，这篇文章我们实现将日志记录到文本文件中。

这是我规划的，需要记录的参数：

  

 - request 请求数据    
        - request_time    
        - request_method    
        - request_uri    
        - request_proto    
        - request_ua    
        - request_referer    
        - request_post_data    
        - request_client_ip    
    - response 返回数据    
        - response_time    
        - response_code    
        - response_msg    
        - response_data    
    - cost_time 花费时间

 

gin 框架中自带 logger 中间件，我们了解下框架中自带的 logger 中间件是否满足我们的需求？

gin.logger()

我们先使用 gin.logger() 看看效果。

在 route.go setuprouter 方法中增加代码：

engine.use(gin.logger())

 

运行后多请求几次，日志输出在命令行中：

 

   [gin] 2019/08/30 - 21:24:16 | 200 |     178.072µs |             ::1 | get      /ping    
    [gin] 2019/08/30 - 21:24:27 | 200 |     367.997µs |             ::1 | post     /product    
    [gin] 2019/08/30 - 21:24:28 | 200 |    2.521592ms |             ::1 | post     /product

 

先解决第一个问题，怎么将日志输出到文本中？

在 route.go setuprouter 方法中增加代码：

    f, _ := os.create(config.appaccesslogname)    
    gin.defaultwriter = io.multiwriter(f)    
    engine.use(gin.logger())

 

运行后多请求几次，日志输出在文件中：

    [gin] 2019/08/30 - 21:36:07 | 200 |     369.023µs |             ::1 | get      /ping    
    [gin] 2019/08/30 - 21:36:08 | 200 |      27.585µs |             ::1 | get      /ping    
    [gin] 2019/08/30 - 21:36:10 | 200 |      14.302µs |             ::1 | post     /product

 

虽然记录到文件成功了，但是记录的参数不是我们想要的样子。

怎么办呢？

我们需要自定义一个日志中间件，按照我们需要的参数进行记录。

自定义 logger()

middleware/logger/logger.go

    package logger    
    import (    
        "bytes"    
        "encoding/json"    
        "fmt"    
        "github.com/gin-gonic/gin"    
        "go-gin-api/app/config"    
        "go-gin-api/app/util"    
        "log"    
        "os"    
    )    
    type bodylogwriter struct {    
        gin.responsewriter    
        body *bytes.buffer    
    }    
    func (w bodylogwriter) write(b []byte) (int, error) {    
        w.body.write(b)    
        return w.responsewriter.write(b)    
    }    
    func (w bodylogwriter) writestring(s string) (int, error) {    
        w.body.writestring(s)    
        return w.responsewriter.writestring(s)    
    }    
    func setup() gin.handlerfunc {    
        return func(c *gin.context) {    
            bodylogwriter := &bodylogwriter{body: bytes.newbufferstring(""), responsewriter: c.writer}    
            c.writer = bodylogwriter    
            //开始时间    
            starttime := util.getcurrentmillitime()    
            //处理请求    
            c.next()    
            responsebody := bodylogwriter.body.string()    
            var responsecode int    
            var responsemsg  string    
            var responsedata interface{}    
            if responsebody != "" {    
                response := util.response{}    
                err := json.unmarshal([]byte(responsebody), &response)    
                if err == nil {    
                    responsecode = response.code    
                    responsemsg  = response.message    
                    responsedata = response.data    
                }    
            }    
            //结束时间    
            endtime := util.getcurrentmillitime()    
            if c.request.method == "post" {    
                c.request.parseform()    
            }    
            //日志格式    
            accesslogmap := make(map[string]interface{})    
            accesslogmap["request_time"]      = starttime    
            accesslogmap["request_method"]    = c.request.method    
            accesslogmap["request_uri"]       = c.request.requesturi    
            accesslogmap["request_proto"]     = c.request.proto    
            accesslogmap["request_ua"]        = c.request.useragent()    
            accesslogmap["request_referer"]   = c.request.referer()    
            accesslogmap["request_post_data"] = c.request.postform.encode()    
            accesslogmap["request_client_ip"] = c.clientip()    
            accesslogmap["response_time"] = endtime    
            accesslogmap["response_code"] = responsecode    
            accesslogmap["response_msg"]  = responsemsg    
            accesslogmap["response_data"] = responsedata    
            accesslogmap["cost_time"] = fmt.sprintf("%vms", endtime - starttime)    
            accesslogjson, _ := util.jsonencode(accesslogmap)    
            if f, err := os.openfile(config.appaccesslogname, os.o_wronly|os.o_append|os.o_create, 0666); err != nil {    
                log.println(err)    
            } else {    
                f.writestring(accesslogjson + "\n")    
            }    
        }    
    }

 

运行后多请求几次，日志输出在文件中：

 

   {"cost_time":"0ms","request_client_ip":"::1","request_method":"get","request_post_data":"","request_proto":"http/1.1","request_referer":"","request_time":1567172568233,"request_ua":"mozilla/5.0 (macintosh; intel mac os x 10_13_6) applewebkit/537.36 (khtml, like gecko) chrome/75.0.3770.142 safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172568233}    
    {"cost_time":"0ms","request_client_ip":"::1","request_method":"get","request_post_data":"","request_proto":"http/1.1","request_referer":"","request_time":1567172569158,"request_ua":"mozilla/5.0 (macintosh; intel mac os x 10_13_6) applewebkit/537.36 (khtml, like gecko) chrome/75.0.3770.142 safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172569158}    
    {"cost_time":"0ms","request_client_ip":"::1","request_method":"post","request_post_data":"name=admin","request_proto":"http/1.1","request_referer":"","request_time":1567172629565,"request_ua":"postmanruntime/7.6.0","request_uri":"/product","response_code":-1,"response_data":null,"response_msg":"key: 'productadd.name' error:field validation for 'name' failed on the 'namevalid' tag","response_time":1567172629565}

 

ok，咱们想要的所有参数全都记录了！

抛出几个问题吧：

1、有没有开源的日志记录工具？

当然有，其中 logrus 是用的最多的，这个工具功能强大，原来我也分享过，可以看下原来的文章《使用 logrus 进行日志收集》。

2、为什么将日志记录到文本中？

因为，日志平台可以使用的是 elk。

使用 logstash 进行收集文本文件，使用 elasticsearch 引擎进行搜索分析，最终在 kibana 平台展示出来。

3、当大量请求过来时，写入文件会不会出问题？

可能会，这块可以使用异步，咱们可以用下 go 的 chan，具体实现看代码吧，我就不贴了。