robots.txt怎么写,robots.txt文件的写法!
程序员文章站
2022-10-01 13:58:51
看到很多网站都没有robots文件,那么一个常规的robots.txt文件应该要这么写呢,小编今天给大家来说说robots.txt怎么写,robots文件常规的写法。......
看到很多网站都没有robots文件,那么一个常规的robots.txt文件应该要这么写呢,小编今天给大家来说说robots.txt怎么写,robots文件常规的写法。
上图是小编的robots文件,我的个人博客是织梦的系统,织梦默认是有部分robots文件的,小编先给大家解释一下其中的写法。
1、允许所有搜索引擎访问 user-agent: * allow:
2、禁止所有搜索引擎访问 user-agent: * disallow: /
3、网站地图:sitemap:
哪些页面要用robots.txt屏蔽
知道怎么写了,但很多朋友还是不知道哪些页面需要屏蔽,让搜索引擎不被访问,其实很简单,不想被搜索引擎抓取的页面就屏蔽,那么哪些页面是我们不想被搜索引擎抓取的呢。
空白页面:什么是空白页面,比如注册页面、联系我们、关于我们等页面属于空白页面,因为这种页面在搜索引擎看来是没有意义的,没有人会搜索注册来到你的网站。
后台页面:后台是不被搜索引擎收录的,所以我们需要robots屏蔽后台登陆页面。
动态页面:通常情况下,我们网站都会做伪静态,那么动态页面我们会屏蔽掉。
总结:robots文件有必要写,一来给搜索引擎做个更好的第一印象,其次是给搜索引擎做一个网站地图。
上一篇: 菱角为什么中秋吃
下一篇: 处暑后季节该吃什么对身体才比较好呢?
推荐阅读
-
cad怎么写块并另存? cad块另存为新文件的教程
-
jsp中config.java文件的public String systemURL该怎么写
-
robots.txt怎么写,robots.txt文件的写法!
-
robots.txt文件你真的知道怎么用吗?
-
禁止搜索引擎访问本站一切文件的robots.txt如何写
-
php写法问题?该不该这样写?怎么写代码才是正确的?
-
mysql ibdata1文件太大,沾满磁盘空间,再有数据往里写的时候怎么处理。?菜鸟求解决!
-
静态文件服务器A和web应用服务器B分开,怎么样在B服务器上传的图片,上传到静态文件服务器应用是PHP写的?
-
jsp中config.java文件的public String systemURL该怎么写
-
cad怎么写块并另存? cad块另存为新文件的教程