SEO教程 robots.txt文件常见用途
程序员文章站
2022-12-28 10:27:04
本文将为你介绍最常用的四种robots.txt文件格式。
1. 允许所有的搜索引擎访问网站的任何部分
User-agent: *
Disallow:
(或者也可以建一个空文件 "/robots.txt")
2. ... 09-07-18...
本文将为你介绍最常用的四种robots.txt文件格式。
1. 允许所有的搜索引擎访问网站的任何部分
user-agent: *
disallow:
(或者也可以建一个空文件 "/robots.txt")
2. 禁止所有搜索引擎访问网站的任何部分
1. 允许所有的搜索引擎访问网站的任何部分
user-agent: *
disallow:
(或者也可以建一个空文件 "/robots.txt")
2. 禁止所有搜索引擎访问网站的任何部分
user-agent: *
disallow: /
3. 禁止所有搜索引擎访问网站中所有的动态页面
user-agent: *
disallow: /*?*
4. 禁止网站上的程序文件被搜索引擎蜘蛛索引,这样可以节省服务器资源。
一般网站中不需要蜘蛛抓取的文件有:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
user-agent: *
disallow: /admin/ 后台管理文件
disallow: /require/ 程序文件
disallow: /attachment/ 附件
disallow: /images/ 图片
disallow: /data/ 数据库文件
disallow: /template/ 模板文件
disallow: /css/ 样式表文件
disallow: /lang/ 编码文件
disallow: /script/ 脚本文件
注:每个网站的文件夹名字可能会不一样
上一篇: 网站SEO搜索引擎优化50问
下一篇: 洛谷P1028动规算法
推荐阅读
-
SEO教程 robots.txt文件常见用途
-
php上传文件常见问题总结,_PHP教程
-
网站建设中PHP的编程8种常见文件操作_PHP教程
-
PHP应用中的八种常见文件操作方式_PHP教程
-
php中header设置常见文件类型的content-type_PHP教程
-
解析web文件操作常见安全漏洞(目录、文件名检测漏洞_PHP教程
-
php中header设置常见文件类型的content-type,_PHP教程
-
解析web文件操作常见安全漏洞(目录、文件名检测漏洞_PHP教程
-
php中利用header设置content-type和常见文件类型的content-type_PHP教程
-
SEO教程 robots.txt文件常见用途