Nginx系列——accessLog日志挖掘与恶意IP封禁

Nginx系列

1. 入门——Nginx系列——配置详解
2. 进阶——Nginx系列——负载均衡配置
3. 进阶——Nginx系列——解决跨域与接口可用性探测
4. 进阶——Nginx系列——缓存解决接口性能问题
5. 进阶——Nginx系列——accessLog日志挖掘与恶意IP封禁
6. 进阶——Nginx系列——websocket反向代理与资源压缩

1、为什么需要挖掘日志记录？

作用：

1. 统计站点访问ip来源、某个时间段的访问频率
2. 查看访问最频的页面、Http响应状态码、接口性能
3. 接口秒级访问量、分钟访问量、小时和天访问量

日志配置

#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '

首先让我们来看下日志里面到底有什么？

192.168.1.101 - - [15/Apr/2019:11:01:52 +0800] "POST /dj_library/login?phone=18296169220&password=root123 HTTP/1.1" 200 66 "http://192.168.1.101:8400/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
192.168.1.101 - - [15/Apr/2019:11:01:52 +0800] "POST /dj_library/login?phone=18296169220&password=root123 HTTP/1.1" 200 66 "http://192.168.1.101:8400/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
192.168.1.101 - - [15/Apr/2019:11:01:52 +0800] "POST /dj_library/login?phone=18296169220&password=root123 HTTP/1.1" 200 66 "http://192.168.1.101:8400/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"

如何去看日志？

1、每一个配置对应每一条数据 每一条数据由 “ ” 空格分隔

对应配置解析：

$remote_addr 对应的是真实日志里的122.70.148.18，即客户端的IP。
​
$remote_user 对应的是第二个中杠“-”，没有远程用户，所以用“-”填充。
​
［$time_local］对应的是[04/Aug/2020:14:46:48 +0800]。访问用户时区
​
“$request”对应的是"GET /user/api/v1/product/order/query_state?product_id=1&token=xdclasseyJhbGciOJE HTTP/1.1"。
​
$status对应的是200状态码，200表示正常访问。
​
$body_bytes_sent对应的是48字节，即响应body的大小。
​
“$http_referer” 对应的是”https://xdclass.net/“，若是直接打开域名浏览的时，referer就会没有值，为”-“。
​
“$http_user_agent” 对应的是”Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:56.0) Gecko/20100101 Firefox/56.0”。
​
“$http_x_forwarded_for” 对应的是”-“或者空。

从上面的日志中我们可以获取的信息：

1. 客户访问IP
2. 访问状态码
3. 访问目标（接口地址）
4. 访问状态（200 404 500）

从上面的日志中我们完全可以分析出

1、访问网站频率最高的用户IP
2、被访问频率最高的接口

如何分析呢？

Linux awk 命令

1、是什么？

AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

2、语法

awk [选项参数] 'script' var=value file(s)
awk [选项参数] -f scriptfile var=value file(s)

3、参数说明

-F fs or --field-separator fs
指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
-v var=value or --asign var=value
赋值一个用户定义变量。
-f scripfile or --file scriptfile
从脚本文件中读取awk命令。
-mf nnn and -mr nnn
对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional
在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印简短的版权信息。
-W help or --help, -W usage or --usage
打印全部awk选项和每个选项的简短说明。
-W lint or --lint
打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old
打印关于不能向传统unix平台移植的结构的警告。
-W posix
打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符**和**=不能代替^和^=；fflush无效。
-W re-interval or --re-inerval
允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作为源代码，可与-f命令混用。
-W version or --version
打印bug报告信息的版本。

4、基本用法

awk '{[pattern] action}' {filenames}   # 行匹配语句 awk '' 只能用单引号

例子：

1、查询访问量最高的100个IP
awk ‘{print $1}’ access.log | sort -n |uniq -c | sort -rn | head -n 100
2、统计访问最多的url 前20名
cat access.log |awk ‘{print $7}’| sort|uniq -c| sort -rn| head -20 | more

5、流量攻击DOS攻击恶意IP分析并封禁

       从上面AWK命令可知IP访问频率与被访问最高频率的接口。因此我们可以根据这两个信息来做文章。

• 对恶意访问网站IP进行封禁处理
• 对被攻击接口进行限流控制

5.1、Linux服务器层面

1. 使用hosts.deny设置黑名单使用hosts.allow设置白名单
2. 使用iptables命令

使用hosts.deny设置黑名单使用hosts.allow

a.限制所有的ssh，除非从43.183.87.0 - 127上来。
hosts.deny:
in.sshd:ALL
hosts.allow:
in.sshd:43.183.87.0/255.255.255.128

b.封掉43.183.87.0 - 127的telnet
hosts.deny
in.sshd:43.183.87.0/255.255.255.128

c.限制所有人的TCP连接，除非从43.183.87.0 - 127访问
hosts.deny
ALL:ALL
hosts.allow
ALL:43.183.87.0/255.255.255.128


d.限制43.183.87.0 - 127对所有服务的访问
hosts.deny
ALL:43.183.87.0/255.255.255.128

#设置完后重新启动
#/etc/rc.d/init.d/xinetd restart
#/etc/rc.d/init.d/network restart

使用iptables命令

单个IP的命令是
iptables -I INPUT -s 43.183.87.171 -j DROP

封整个段的命令是43.183.87.0-43.183.87.8
iptables -I INPUT -s 43.183.87.0/8 -j DROP

服务器启动自运行
有三个方法：
1、把它加到/etc/rc.local中
2、vi /etc/sysconfig/iptables可以把你当前的iptables规则放到/etc/sysconfig/iptables中，系统启动iptables时自动执行。
3、service iptables save 也可以把你当前的iptables规则放/etc/sysconfig/iptables中，系统启动iptables时自动执行。
后两种执行会更好，一般iptables服务会在network服务之前启动，这样会更加安全

5.2、Nginx层面

1、创建一个黑名单文件 #blacklist.conf目录下文件内容

#被禁用的IP地址
deny 192.168.159.2;
deny 192.168.159.32;

配置

单独网站屏蔽IP的方法，把include xxx; 放到网址对应的在server{}语句块,虚拟主机
所有网站屏蔽IP的方法，把include xxx; 放到http {}语句块。
​
nginx配置如下：
​
http{
# ....
include blacklist.conf;
}
​
location / {
proxy_pass http://lbs;
proxy_redirect default;
}

使用命令./nginx -s reload #重新加载配置，不中断服务

问题来了？每一次都要手动配置岂不累死？

shell脚本帮你解决所有问题

1. 自动分析排名前列的恶意IP
2. 写入黑名单
3. 每隔一段时间更新黑名单

以上面的配置为例子

#!/bin/bash
nginxPath=/usr/local/nginx/ 
logPath=/var/log/nginx/ 
tail -n50000 $wwwPath/access.log |awk '{print $1,$12}' |grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou" 
|awk '{print $1}'|sort|uniq -c|sort -rn |awk '{if($1>1000) print "deny "$2 ";"}' >> $nginxPath/conf/blacklist.conf
sort $nginxPath/conf/blacklist.conf | uniq -c |awk '{print "deny "$3}' > $nginxPath/conf/blacklist.conf
/etc/init.d/nginx reload

# nginxPath： #nginx 日志 注：配置文件上一级目录位置
# logPath # formatlog 日志位置
注：将上面的配置写到一个.sh文件里面

# 比如 Shell 脚本名为 blockip.sh 所在目录为 /root/ 定时任务为每天晚上11点30分执行
30 23 * * * /root/blackList.sh

完美解决问题，配合阿里网盾监控就更加的完美了