欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

http网页内容 如何防止被批量抓取

程序员文章站 2022-06-02 15:25:24
...
我现在有个网站 里面的一些重要内容被其它地方批量的抓取
并且还能实时的更新我的内容 有时候更新的速度还能比我正常页面加载显示的还快
求如何解决啊。
PS:内容主要是文字及少量图片,后台用PHP编写

回复内容:

我现在有个网站 里面的一些重要内容被其它地方批量的抓取
并且还能实时的更新我的内容 有时候更新的速度还能比我正常页面加载显示的还快
求如何解决啊。
PS:内容主要是文字及少量图片,后台用PHP编写

试试nginx:
1. ngx_http_limit_conn_module 可以用来限制单个IP的连接数
http://nginx.org/en/docs/http/ngx_http_limit_conn_module.html
2. ngx_http_limit_req_module 可以用来限制单个IP每秒请求数
http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
3. nginx_limit_speed_module 可以用来对IP限速
https://github.com/yaoweibin/nginx_limit_speed_module

或者使用Nginx的fail2ban模块:http://www.fail2ban.org/wiki/index.php/Main_Page

除了上面还可以使用图片/URL防盗链

相关标签: 安全 php