数据库审计 DBAudit - Yearning 最新版

数据库审计 dbaudit

2019/09/26 chenxin

数据库审计

基本概念

数据库审计（简称dbaudit）能够实时记录网络上的数据库活动，对数据库操作进行细粒度审计的合规性管理，对数据库遭受到的风险行为进行告警，对攻击行为进行阻断。它通过对用户访问数据库行为的记录、分析和汇报，用来帮助用户事后生成合规报告、事故追根溯源，同时加强内外部数据库网络行为记录，提高数据资产安全。

数据库审计是数据库安全技术之一，数据库安全技术主要包括：
数据库漏扫
数据库加密
数据库防火墙
数据脱敏
数据库安全审计系统

概括起来主要表现在以下三个层面：

1. 管理风险：主要表现为人员的职责、流程有待完善，内部员工的日常操作有待规范，第三方维护人员的操作监控失效等等，离职员工的后门，致使安全事件发生时，无法追溯并定位真实的操作者。
2. 技术风险：oracle, sql server是一个庞大而复杂的系统，安全漏洞如溢出， 注入层出不穷，每一次的cpu（critical patch update）都疲于奔命， 而企业和*处于稳定性考虑，往往对补丁的跟进非常延后，更何况通过应用层的注入攻击使得数据库处于一个无辜受害的状态。
3. 审计层面：现有的依赖于数据库日志文件的审计方法(阿里云好像是这种)，存在诸多的弊端,比如:数据库审计功能的开启会影响数据库本身的性能、数据库日志文件本身存在被篡改的风险，难于体现审计信息的有效性和公正性。此外，对于审计数据的挖掘和迅速定位也是任何审计系统必须面对和解决的一个核心问题之一。

伴随着数据库信息价值以及可访问性提升，使得数据库面对来自内部和外部的安全风险大大增加，如违规越权操作、恶意入侵导致机密信息窃取泄漏，但事后却无法有效追溯和审计。

产品分类

企业产品
就国内而言，做数据库审计产品的公司越来越多.比如：安华金和、天融信、安恒、绿盟,themis宜信公司等等.

云平台数据库审计
阿里云,aws等

开源类
目前好像主要为yearning

yearning mysql 审核平台

参考
http://yearning.io/ 官网
https://guide.yearning.io/ 手册,最新的文档,建议参考此官网说明(因更新比较快,不建议沿用本文档).

简介

yearning是由杭州的一个运维个人开发,目前已开源.以后可能会商业化.

• 主要功能
  sql查询/查询导出/查询自动补全

• sql审核
  流程化工单/sql语句检测/sql语句执行/sql回滚

• 历史审核记录
  查询审计

• 推送
  e-mail工单推送/钉钉webhook机器人工单推送

• 其他
  ldap登陆/用户权限及管理/拼图式细粒度权限划分(共12项独立权限,可随意组合)

安装部署

mysql版本必须5.7及以上版本.安装部署请参考"mysql运维"文档部分.
请事先自行安装完毕且创建yearning库,字符集应为utf-8/utf8mb4

下载地址
https://github.com/cookiey/yearning/releases 选择最新的yearning-x.x.x.linux-amd64.zip

解压
unzip yearning-2.1.3.linux-amd64.zip

目录
mv yearning-go /usr/local/yearning

环境变量 /etc/profile 添加
export path='/usr/local/yearning:/usr/local/mysql/bin:/usr/local/mysql/lib':$path

文件结构与配置文件解析

目录结构

[root@ipaclient yearning]# tree /usr/local/yearning/
/usr/local/yearning/
├── conf.toml   #配置文件
├── dist
│   ├── css
│   │   ├── app.90071506.css
...
│   ├── fonts
│   │   ├── ionicons.143146fa.woff2
│   │   ├── ionicons.99ac3308.woff
│   │   └── ionicons.d535a25a.ttf
│   ├── icon.png
│   ├── img
...
│   ├── index.html
│   ├── js
...
│   └── particlesjs-config.json
├── dockerfile  #可以docker方式部署
├── #\ readme
└── yearning

配置文件

[root@ipaclient yearning]# cat conf.toml 
[mysql]
db = "yearning"
host = "127.0.0.1"
port = "10306"
password = "sje...8sg"
user = "yearning"

[general]
secretkey = "yhgjqheupqjsynsh"

关于secretkey
secretkey是token/数据库密码加密/解密的salt.建议所有用户在初次安装yearning之前将secretkey更改(不更改将存在安全风险).
格式: 大小写字母均可, 长度必须为16位
特别注意:此key仅可在初次安装时更改,之后不可再次更改.如再次更改会导致之前已存放的数据源密码无法解密,最终导致无法获取相关数据源信息.

初始化与启停

初始化数据结构
./yearning -m
如要再次初始化，请先把yearning表删除，否则重复执行无效.

[root@ipaclient yearning]# yearning -m

(/var/jenkins_home/workspace/yearning-go/src/service/migrate.go:31) 
[2019-09-29 16:13:30]  [0.57ms]  insert  into `core_accounts` (`username`,`password`,`rule`,`department`,`real_name`,`email`) values ('admin','pbkdf2_sha256$12...gufy$3b63+x2/xpgg/6ldvclfkzqzjynz6gg/s6d/toxkmre=','admin','dba','超级管理员','')  
[1 rows affected or returned ] 

(/var/jenkins_home/workspace/yearning-go/src/service/migrate.go:39) 
[2019-09-29 16:13:30]  [0.89ms]  insert  into `core_global_configurations` ...
[1 rows affected or returned ] 

(/var/jenkins_home/workspace/yearning-go/src/service/migrate.go:46) 
[2019-09-29 16:13:30]  [0.51ms]  insert  into `core_graineds` (`username`,`rule`,`permissions`) values ('admin','','{"ddl":"1","ddl_source":[],"dml":"1","dml_source":[],"user":"1","base":"1","auditor":[],"query":"1","query_source":[]}')  
[1 rows affected or returned ] 
初始化成功!
 用户名: admin
密码:yearning_admin

启停,浏览器访问
默认启动: ./yearning -s
参数启动: ./yearning -s -b "172.27.80.35" -p "8000"
打开浏览器 http://172.27.80.35:8000 默认密码：admin/yearning_admin ,登陆控制台后,修改密码为 yearninglg2019

其他说明
https://guide.yearning.io/attention.html 注意事项(尤其是回滚,需要binlog).

数据源配置

这里是从yearning这台机器发起的连接,连接到目标主机的mysql.连接的是对方的3306端口,如果给予的该主机用户拥有足够权限,那么可以看到和操作所有库.

数据操作申请流程/其他功能模块

用户申请要查询数据库时,直接在查询的功能里申请.yearning的dml不包含select.其他dml,如insert,update等,在dml里申请工单.
工单可以指定日期和具体时间来计划执行(类似crontab),无需人工介入.如果指定时间超过了审批的时间(比审批时间点早),那么最终用户审批后,yearning会自动立即执行.
发起人a申请后,由指定人admin审批,admin批准用户b来执行,b用户在审核里审批.然后即可以人工点"执行"或自动执行sql语句了.

通知

支持 钉钉 / 邮件 推送通知.申请/审批/执行 都会自动发送推送消息至指定的钉钉群或邮件.
钉钉webhook地址类似: https://oapi.dingtalk.com/robot/send?access_token=c4d9a861...3dc
打开"钉钉推送开关",点击保存.

本地用户管理,ldap用户测试

1.这里创建本地用户测试一下.
用户: yn-test
密码: yn123lg
注册完成后,需要到"用户权限"里,赋予权限(admin用户登录操作).

2.ldap用户
ldap设置如下
服务地址url: 47.91.215.12:389
ldap管理员dn: uid=admin,cn=users,cn=accounts,dc=chanix,dc=top
ldap管理员密码: xxxxxx
ldap搜索规则: uid
ldap_scbase: cn=users,cn=accounts,dc=chanix,dc=top
保存,刷新.
登陆的时候,用户名下勾选ldap.
每次有新的ldap用户登录后,yearning的用户管理里,就会多出该用户.然后通过yearning本地管理员对它进行赋权.

3.主动申请权限
普通用户登录后,在自己的portal上,可以"查看权限","申请权限".跟管理员获取对应的需要的权限.

备份恢复

备份与恢复yearing数据库(mysql里).具体略.

服务更新

如版本更新有sql变动,请下载最新版本并执行以下命令进行数据结构更新（2.0.6版本之后升级无需执行该命令，程序启动时会自动检测是否需要更新表数据）
./yearning -x