如何样阻止不友好的搜索引擎机器人蜘蛛爬虫
程序员文章站
2024-02-09 10:23:58
...
怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫?
今天在服务器上面发现,MYSQL流量很高。然后查看一下日志,发现一个不友好的蜘蛛爬虫,看了一下时间 一秒钟访问页面7,8次,而且访问的是网站的整站收索页面。就是不听的查询数据库。
我想问一下大家遇到这类的问题,如何防范? 现在我已经静止了这个IP地址
------解决方案--------------------
没有什么好方法。你可以观察哪些ip访问频繁,有嫌疑的就禁封。
程序当中,你可以设置同一个ip两次访问的间隔时间。
今天在服务器上面发现,MYSQL流量很高。然后查看一下日志,发现一个不友好的蜘蛛爬虫,看了一下时间 一秒钟访问页面7,8次,而且访问的是网站的整站收索页面。就是不听的查询数据库。
我想问一下大家遇到这类的问题,如何防范? 现在我已经静止了这个IP地址
------解决方案--------------------
没有什么好方法。你可以观察哪些ip访问频繁,有嫌疑的就禁封。
程序当中,你可以设置同一个ip两次访问的间隔时间。
相关文章
相关视频
专题推荐
-
独孤九贱-php全栈开发教程
全栈 170W+
主讲:Peter-Zhu 轻松幽默、简短易学,非常适合PHP学习入门
-
玉女心经-web前端开发教程
入门 80W+
主讲:灭绝师太 由浅入深、明快简洁,非常适合前端学习入门
-
天龙八部-实战开发教程
实战 120W+
主讲:西门大官人 思路清晰、严谨规范,适合有一定web编程基础学习
上一篇: ABCCBA从1到9不同数字组成算法
下一篇: MySQL高级查询方法之记录查询
网友评论
文明上网理性发言,请遵守 新闻评论服务协议
我要评论