网站被采集怎么办 一招制服！

前几天我搜索我网站内容的时候，发现有很多非法网站同时更新， 我点击进去发现是一些非法的网站，但只能在对方网站顶部找到少量的广告信息， 并没有什么实际内容。

我仔细查看了对方的源代码，发现对方隐藏了网站内容。他用这样的方法可以欺骗搜索引擎，让搜索引擎给其不错的排名，同时又能在访客面前隐藏自己小偷小摸的行为。

我第一时间想到了是不是网站被黑?

所以我修改了网站ftp，数据库，管理员账号等信息后，又更新了新文章，隔几小时后发现对方还是能顺利更新我网站的文章。这就奇怪了，难道是服务器被黑?我又仔细查看了服务器，没发现什么异常。

最后想到是不是可能被采集?

所以我把网站开通了访问日志功能，等了半天以后，我打开几m的日志查看，仔细一查就发现了采集者的ip，

我把对方的ip屏蔽以后，从此对方再也没和我的网站同步更新。

如何能快速的发现，并且一招制服采集你网站的小偷呢?

方法非常简单，你只需要查看哪个ip访问你最新文章，然后查看这些ip，其中有异常的就肯定是采集你网站的。

比如你更新一两篇新文章，你的新文章id是 /123.htm ，半天时间内访问你新文章/123.htm 的往往就那么几个ip，然后分别查看这几个ip都访问了哪些页面，流量是否正常。

比如有的ip是国内ip，只访问了几个正常页面，流量占用很小，那他们就是正常的访客。

而像这类美国ip 207.46.13.* 就不正常。

第一，他是美国ip，就算是真实访问也不是我的意向顾客。

第二，采集小偷的网站服务器在美国，而这个ip也在美国，那他肯定就是采集ip。

第三，他做非法网站不可能用国内服务器，一来美国服务器成本低，二来可以避开法律风险。

第四，访问页面太多，占用流量比较大。

发现了采集者的ip, 如何屏蔽采集者的ip段呢?

下图是我屏蔽了采集者的ip后，状态码是403，就证明屏蔽成功。

 

如果你的linux服务器，只需要在.htaccess里这样写就行

order allow,deny

deny from 127.0.0

allow from all

举例，如果你要屏蔽的ip段比较多，可以这样写

order allow,deny

deny from 68.180.230

deny from 40.77.167

allow from all

通过这样的方法就可以完全杜绝采集你网站的小偷， 对方发现自己无法采集成功，就会另选目标。如果每个站长都知道这样的方法，那么互联网环境将会纯净许多。

转载请注明