日志审计系统设计
背景
萨班斯(sox)法案。在美国上市公司必须遵循的“萨班斯(sox)法案” 中要求对企业内部网络信息系统进行评估，其中涉及对业务系统操作、数据库访问等业务行为的审计。
日志审计模型
系统架构参考
四层模型
日志审计类别
1) http 会话审计
从流量中还原 http 会话数据，并根据会话特征进一步深度解析 http bbs访问、http 网页标题、http 威胁情报、http dga 域名（dga 域名库、机器学习）、搜索关键词及其他 http 会话等，数据中至少包含请求方法、返回值、主机名、网页地址、用户代理、语言、服务器类型等数据。
以上ngnix日志结构化示例
从结构化的视角看日志，可以从内在属性和外在属性着手。
内在属性是从时间戳、字段、字段命名等日志内容本身所具备的信息内容的角度，对日志进行分析。
外在属性是从来源、归属分类、资产信息等维度来分析。来源是指日志来自哪台主机、哪个 ip；归属分类是从日志的所属系统及日志用途等方面看日志；日志的资产信息是指日志的负责人、负责人的联系方式等相关信息，可以通过平台将日志与负责人进行关联，以便事故发生后可以直接通知到相关负责人
2) dns 会话审计
从流量中还原 dns 会话数据，并根据会话特征进一步深度解析 dns 威胁情报、dns dga 域名、dns 解码错误、dns 解析错误、dns 解析超时，数据中至少包含请求域名（fqdn）、dns 服务器地址、dns 服务器端口、请求返回解析地址等信息。
3）ftp 会话审计
从流量中还原 ftp 会话数据，数据中至少包含登录用户、传输文件名以及操作命令等信息。
3）telnet 会话审计
从流量中还原 telnet 会话数据，数据中至少包含登录用户以及操作命令的实际内容等信息。数据库会话审计从流量中还原主流数据库会话数据，如 mysql、sqlserver、oracle 等主流数据库，数据中至少应包含登录用户名、操作命令（抓取 sql 语句）等信息。
4）邮件会话审计
从流量中还原邮件会话数据，包括 pop3，smtp、imap 协议，数据中至少包含收件人、发件人、主题、附件名称等信息。
5）tls 会话审计
从流量中还原 tls 会话数据，主要针对 ssl/tls 握手部分（非加密），数据中至少包含服务器及客户端证书、服务器名称等信息。
6）工控会话
从流量中还原应用协议为 iec104、mms、modbus、opc、opcua、etherneti ip 和 cip 的工控会话，数据中包含工控会话的 modbus 的功能码、功能描述，支持解析 iec、etherneti ip 和 cip 的命令等信息。
7）其他会话审计
其他会话均通过可以通过组合条件查询网络会话支撑审计，网络会话列表包含了全流量的会话还原留存，会话详情将根据 ssh、smbv1/v2、dcerpc 自动适配字段展现。
日志分析系统
日志分析的关键环节主要集中在日志源识别、数据接入、数据结构化清洗、数据分析等环节。根据企业实际生产环境，日志数据分别有操作系统日志、网络设备日志、中间件日志、数据库日志、业务系统日志等类型。数据接入有 agent、syslog、snmp 等方式。数据结构化涉及各种类型日志的清洗方式、字典扩展、正则解析、字段识别等内容，内容比较多，有一个标准化流程的话实施起来会相对容易。数据分析包括搜索、可视化，此外还要考虑监控、定时任务、报表等功能。在落地交付时，可以从业务维度，根据系统模块进行数据接入，先调研部分业务系统要实现的分析效果，然后针对这些需求做相应的告警、分析。后续用户还可接入更多的业务系统。也可以从功能维度做日志分析，即先调研所有系统要实现的分析目的，然后再做告警、分析。根据自身企业的需求选择对应的交付方式。
今天先到这儿，希望对技术领导力， 企业管理，系统架构设计与评估，团队管理, 项目管理, 产品管理,团队建设 有参考作用 , 您可能感兴趣的文章:
微服务与docker介绍
docker与ci持续集成/cd
精益it组织与分享式领导
it基础架构规划方案一(网络系统规划)
供应链需求调研checklist
如有想了解更多软件设计与架构, 系统it,企业信息化, 团队管理 资讯，请关注我的微信订阅号：
作者：petter liu
出处：
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
该文章也同时发布在我的独立博客中-petter liu blog。