零零碎碎七七八八

robot.txt

robots.txt 是搜索引擎蜘蛛到网站之后要寻找和访问的第一个文件，制定了一个如何索引当前网站的规则。
当一个搜索机器人（搜索蜘蛛）访问一个站点时，会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果不存在，搜索机器人就沿着链接抓取。

User-agent:
Allow:
Disallow:

参考：如何使用robots.txt及其详解