Nodejs Express 通过log4js写日志到Logstash(ELK)

log4j 是一个使用 java 语言编写的，可靠、快速、灵活的日志框架（api），使用 apache software license 授权。它被移植到 c、c++、c#、perl、python、ruby 和 eiffel 语言中。

log4j 是高度可配置的，在运行期使用外部的配置文件对其进行配置。它按照优先级别记录日志，并可将日志信息定向输出到各种介质，比如数据库、文件、控制台、unix syslog等。

log4j 主要由三部分组成：

• loggers：负责采集日志信息。
• appenders：负责将日志信息发布到不同地方。
• layouts：负责以各种风格格式化日志信息。

确认版本

 "dependencies": {
  "body-parser": "1.18.3",
  "compression": "1.7.2",
  "cookie-parser": "1.4.3",
  "ejs": "2.6.1",
  "express": "4.16.3",
  "forever": "0.15.3",
  "http-proxy-middleware": "0.18.0",
  "log4js": "2.9.0",
  "log4js-logstash-tcp": "1.0.1",
  "serve-favicon": "2.5.0"
 },

logstash配置

• 你需要知道logstash服务的ip和端口
• 你需要知道写日志是通过什么协议：tcp，还是udp

在我向logstash写日志之前，已经有同事向logstash写过日志了。当时只是知道logstash的ip和端口，没有搞清楚协议，所以没有写进去。

logger

// filename: /logs/logger.js

var log4js = require('log4js')

// 获取配置文件中logstash的ip地址和端口
var {loghost, logport} = require('../config/index.js') 

if (!loghost || !logport) {
 console.log('error not config logstash_host or logstash_port')
}

log4js.configure({
 appenders: {
  console: { type: 'console' },
  logstash: {
   // 因为我们的logstash暴露的是tcp写日志的端口，所以我用了log4js-logstash-tcp，
   // 这个需要安装 https://github.com/aigent/log4js-logstash-tcp
   // 如果你的logstash使用udp的，参考 https://github.com/log4js-node/logstashudp
   type: 'log4js-logstash-tcp', 
   host: loghost,
   port: parseint(logport)
  }
 },
 categories: {
  default: { appenders: ['logstash'], level: 'debug' }
 }
})

const logger = log4js.getlogger('default')

app.js

// filename: /app.js
var express = require('express')
var compression = require('compression')
var path = require('path')
var log4js = require('log4js')
var proxymiddleware = require('http-proxy-middleware')
var cookieparser = require('cookie-parser')

var logger = require('./logs/logger.js') // 这了引用了上面的logger
var {proxytable, maxage} = require('./config/index.js')

...
object.keys(proxytable).foreach(function (context) {
 if (!proxytable[context].ws) {
  // 这里我是用的反向代理，当代理响应时，开始写日志
  proxytable[context].onproxyres = writelog
 }
 app.use(proxymiddleware(context, proxytable[context]))
})
...

// 主要谢日日志的就是这里
function writelog (proxyres, req, res) {
 var baselog = `${req.method} ${proxyres.statuscode} ${req.cookies.email} ${req.url}`
 var msgobj = {
  method: req.method,
  statuscode: proxyres.statuscode,
  url: req.url,
  email: req.cookies.email || '',
  sessionid: req.cookies.sessionid || '',
  instanceid: 'newtm',
  nodename: 'newtm'
 }

 if (proxyres.statuscode < 400) {
  logger.info(baselog, msgobj)
 } else {
  logger.error(baselog, msgobj)
 }
}

在kibana中输入关键词：nodename:newtm


可以搜到如下的记录

{
 "_index": "logstash-2018.07.11",
 "_type": "logs",
 "_id": "awsigyy0vr6rldfu8xzj",
 "_score": null,
 "_source": {
  "nodename": "newtm",
  "method": "get",
  "level": "info",
  "sessionid": "",
  "message": "get 204 test.cc.com /api/touch?_=1531291286527",
  "url": "/api/touch?_=1531291286527",
  "@timestamp": "2018-07-11t06:53:29.059z",
  "port": 57250,
  "@version": "1",
  "host": "192.168.2.74",
  "fields": {
   "nodename": "newtm",
   "method": "get",
   "level": "info",
   "sessionid": "",
   "category": "default",
   "url": "/api/touch?_=1531291286527",
   "email": "test.cc.com",
   "statuscode": 204
  },
  "category": "default",
  "email": "test.cc.com",
  "statuscode": 204
 },
 "fields": {
  "@timestamp": [
   1531292009059
  ]
 },
 "highlight": {
  "nodename": [
   "@kibana-highlighted-field@newtm@/kibana-highlighted-field@"
  ]
 },
 "sort": [
  1531292009059
 ]
}

注意

• 要注意写日志是用udp还是tcp
• 如果要用，logstash (udp and http) appender，该功能已经被移动到 https://github.com/log4js-node/logstashudp 最好要单独安装
  

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。