Robots.text文件 引导搜索引擎收录网站
程序员文章站
2022-05-05 19:47:48
...
在网站根目录下还可以创建 robots.txt 文件，来引导搜索引擎收录网站。 Google 蜘蛛 GoogleBot BaiDu 蜘蛛 Baiduspider MSN 蜘蛛 MSNBOT robots.txt 写作语法 允许所有的 robot 访问 User-agent: * Disallow: 或者 User-agent: * Allow: 或者也可以建一个空
在网站根目录下还可以创建robots.txt文件，来引导搜索引擎收录网站。
Google蜘蛛 GoogleBot
BaiDu蜘蛛 Baiduspider
MSN蜘蛛 MSNBOT
robots.txt写作语法
允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow:
或者也可以建一个空文件 "/robots.txt" file
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /