欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  网络运营

Apache使用.htaccess 屏蔽恶意 User Agent(防蜘蛛)

程序员文章站 2022-05-05 16:43:35
一、登记在册的恶意 user agent 1、”mozilla/4.0 (compatible; msie 7.0; windows nt 5.1; embeddedwb...

一、登记在册的恶意 user agent
1、”mozilla/4.0 (compatible; msie 7.0; windows nt 5.1; embeddedwb 14.52 from: http://www.bsalsa.com/ embeddedwb 14.52; .net clr 2.0.50727)”

下面是网站日志中的两条记录,这个 user agent 会重复访问注册页面,并获取验证码,这是垃圾留言和恶意注册的开始。

复制代码 代码如下:

116.242.22.10 199.27.128.204 – – [30/oct/2011:04:02:15 +0800] “get /checkcode.php http/1.1” 302 286 “http://www.***.com/register.php” “mozilla/4.0 (compatible; msie 7.0; windows nt 5.1; embeddedwb 14.52 from: http://www.bsalsa.com/ embeddedwb 14.52; .net clr 2.0.50727)”

116.242.22.10 199.27.128.204 – – [30/oct/2011:04:02:19 +0800] “post /register.php http/1.1” 302 286 “http://www.***.com/register.php” “mozilla/4.0 (compatible; msie 7.0; windows nt 5.1; embeddedwb 14.52 from: http://www.bsalsa.com/ embeddedwb 14.52; .net clr 2.0.50727)”

2、”mozilla/5.0 qunarbot/1.0″

这是一个无视 robots.txt 的蜘蛛,怀疑与“去哪儿”有关。

3、”mozilla/4.0 (compatible; msie 5.00; windows 98)”

复制代码 代码如下:

61.147.91.201 173.245.48.60 – – [30/oct/2011:06:00:28 +0800] “get /mp3/%a5%d6%a5%eb%a9%60%a5%d0%a9%60%a5%c9.mp3 http/1.1” 302 286 “-” “mozilla/4.0 (compatible; msie 5.00; windows 98)”

看到没?windows 98!总是抓取网站目录下的mp3文件,都是原来上传过mp3文件到网站的错。

4、”mozilla/4.0″

复制代码 代码如下:

58.255.120.95 199.27.128.216 – – [30/oct/2011:06:01:26 +0800] “get /ikmedata/cache/fuck.php http/1.1” 404 1479 “-” “mozilla/4.0”
58.255.120.95 199.27.128.216 – – [30/oct/2011:06:01:27 +0800] “get /data/cache/fuck.php http/1.1” 404 1479 “-” “mozilla/4.0”
58.255.120.95 199.27.128.216 – – [30/oct/2011:06:01:27 +0800] “get /data/cache/fuck.php http/1.1” 404 1479 “-” “mozilla/4.0”

又一个坑爹的,无尽无穷的扫描,非常恶心。

二、屏蔽恶意 user agent
使用 .htaccess 屏蔽 user agent 的方法很多,这里使用 rewrite 规则把这些 user agent 转移走,以达到屏蔽的效果。

复制代码 代码如下:

rewritecond %{http_user_agent} “.*embeddedwb.*” [or]
rewritecond %{http_user_agent} “.*qunarbot.*” [or]
rewritecond %{http_user_agent} “.*windows 98.*” [or]
rewritecond %{http_user_agent} “^mozilla/4.0$”
rewriterule ^(.*)$ http://cao.ni.ma/

使用 .htaccess 需要了解一些正则表达式语法,以正确匹配字符串。

如果你觉得有用,屏蔽恶意 user agent�0�2前,不妨先分析一下自己的网站日志,根据自己的需要定制。可以使用 firefox+user agent switcher 测试效果,chrome 也有类似的切换 user�0�2agent 的扩展程序。