IIS服务器配置NXLog进行syslog转发（并解决GMT+8小时时差问题）

nxlog是个跨平台日志传输插件，支持linux、windows平台的大部分系统日志及常见的web日志，支持tcp、udp、http(s)等协议传输。

本文通过nxlog将iis的日志以syslog的形式转发至日志审计服务器。

 

一、系统环境

操作系统：window server2012 r2 datacenter

iis：8.5

nxlog：nxlog-ce-2.10.2150

下载地址： （windows请选择msi文件下载）

 

二、nxlog的整体实现原理

nxlog整体采用插件架构模式，通过加载可调用的模块， 实现从各种不同的日志来源读取日志数据(input)，对日志数据进行解析和转换(prosessor)，最后进行输出(output)。

iis的日志为文本类型的逐行文件，各字段使用“空格符”进行分割，而其中的日期和时间分属于两个不同的字段。因此iis的日志可以通过input的im_file模块进行读取，并经过一定的处理后输出（转发）。

在nxlog的安装路径c:\program files\nxlog（或c:\program files (x86)\nxlog）下找到conf\nxlog.conf，用文本编辑器进行编辑。

 

三、具体配置方法

1. 查看本地iis日志格式（在iis管理器中可以对w3c日志记录字段进行更改。）

#software: microsoft internet information services 8.5
#version: 1.0
#date: 2020-04-26 06:14:01
#fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(user-agent) cs(referer) cs-host sc-status sc-substatus sc-win32-status time-taken

　　

2. 设置w3c扩展日志格式（这里的第一个$datetime是将$date和$time进行了合并，具体见下面input中的操作。）

<extension w3c>
    module xm_csv
    fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csuser-agent, $cs-referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
    fieldtypes string, string, string, string, string, string, string, string, string, string, string, string, string, string, string
    delimiter ' '
    quotechar '"'
    escapecontrol true
    undefvalue -
</extension>

　　

3. 增加input日志来源

<input iisin>
   module   im_file
   # iis日志目录，文件名支持通配符，文件夹不支持
   file     "c:\inetpub\logs\logfiles\w3svc1\u_ex*.log"
   savepos  true
   # 忽略以#开头的日志行
   # 编码转换为gbk（我的日志审计服务器默认为gbk编码，而iis日志的编码为utf-8，请按实际情况设置）
   # 利用替换法将日期与时间合并为一个字段
   # 解析为csv格式
   # 通过xm_csv模块对w3c扩展日志进行解析
   # 将合并后的日期与时间作为eventtime（发生时间），并增加gmt标志(+00:00)解决iis8小时时差问题
   exec if $raw_event =~ /^#/ drop();                              \
        else                                                       \
        {                                                          \
          convert_fields("auto", "gbk");                           \
          $raw_event = replace($raw_event, ' ', '@', 1);           \
          w3c->parse_csv();                                        \
          $raw_event = replace($raw_event, ' ', "\t");             \
          $raw_event = replace($raw_event, '@', ' ', 1);           \
          $eventtime = parsedate(replace($datetime, '@', ' ', 1) + '+00:00'); \
        }
</input>

　

4. 增加output日志输出（内网通过udp方式输出可以提高运行效率；如果需要高可靠性可采用tcp，但容易造成工作负载过大。使用to_syslog_bsd后，在input段设置的$eventtime才能有效。）

<output iisout>
   module om_udp
   host 10.168.100.1
   port 514
   exec to_syslog_bsd();
</output>

　　

5. 增加转发规则

<route 1>
   path iisin => iisout
</route>

　　
四、启动nxlog

可以通过服务管理器services.msc中启动nxlog服务，或者在安装路径中双击nxlog.exe运行。

 

五、排错

检查安装路径\data\nxlog.log日志文件，并进行排错。如果提示如下内容（error if-else failed），大多数是因为<extension w3c>段中配置的字段和日志中的字段不匹配。

2020-04-26 14:04:24 error if-else failed at line 43, character 315 in c:\program files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; procedure 'parse_csv' failed at line 43, character 181 in c:\program files (x86)\nxlog\conf\nxlog.conf. statement execution has been aborted; too many fields in csv input, expected 15, got 16 in input '...此处略去具体日志内容...'

 

六、实际效果

 

七、完整配置文件：conf\nxlog.conf

panic soft
#nofreeonexit true

define root     c:\program files (x86)\nxlog
define certdir  %root%\cert
define confdir  %root%\conf
define logdir   %root%\data
define logfile  %logdir%\nxlog.log
logfile %logfile%

moduledir %root%\modules
cachedir  %root%\data
pidfile   %root%\data\nxlog.pid
spooldir  %root%\data

<extension w3c>
    module xm_csv
    fields $datetime, $s-ip, $cs-method, $cs-uri-stem, $cs-uri-query, $s-port, $cs-username, $c-ip, $csuser-agent, $cs-referer, $cs-host, $sc-status, $sc-substatus, $sc-win32-status, $time-taken
    fieldtypes string, string, string, string, string, string, string, string, string, string, string, string, string, string, string
    delimiter ' '
    quotechar '"'
    escapecontrol true
    undefvalue -
</extension>

<extension _syslog>
    module      xm_syslog
</extension>

<extension _charconv>
    module      xm_charconv
    autodetectcharsets iso8859-2, utf-8, utf-16, utf-32
</extension>

<extension _exec>
    module      xm_exec
</extension>

<extension _fileop>
    module      xm_fileop

    # check the size of our log file hourly, rotate if larger than 5mb
    <schedule>
        every   1 hour
        exec    if (file_exists('%logfile%') and \
                   (file_size('%logfile%') >= 5m)) \
                    file_cycle('%logfile%', 8);
    </schedule>

    # rotate our log file every week on sunday at midnight
    <schedule>
        when    @weekly
        exec    if file_exists('%logfile%') file_cycle('%logfile%', 8);
    </schedule>
</extension>

<input iisin>
   module   im_file
   # iis日志目录，文件名支持通配符，文件夹不支持
   file     "c:\inetpub\logs\logfiles\w3svc1\u_ex*.log"
   savepos  true
   # 忽略以#开头的日志行
   # 编码转换为gbk（我的日志审计服务器默认为gbk编码，而iis日志的编码为utf-8，请按实际情况设置）
   # 合并日期与时间为一个字段
   # 解析为csv格式
   # 通过xm_csv模块对w3c扩展日志进行解析
   # 将合并后的日期与时间作为eventtime（发生时间），并增加gmt标志(+00:00)解决iis8小时时差问题
   exec if $raw_event =~ /^#/ drop();                              \
        else                                                       \
        {                                                          \
          convert_fields("auto", "gbk");                           \
          $raw_event = replace($raw_event, ' ', '@', 1);           \
          w3c->parse_csv();                                        \
          $raw_event = replace($raw_event, ' ', "\t");             \
          $raw_event = replace($raw_event, '@', ' ', 1);           \
          $eventtime = parsedate(replace($datetime, '@', ' ', 1) + '+00:00'); \
        }
</input>

<output iisout>
   module om_udp
   host 10.168.100.1
   port 514
   exec to_syslog_bsd();
</output>

<route 1>
   path iisin => iisout
</route>

　　

参考资料：

1. 官方文档： 

2. 利用nxlog以syslog方式发送iis日志  

3. nxlog配置