WordPress的robots.txt的SEO优化

WordPress程序的好我就不说了，今天专门来说下Wordpress的robots.txt文件的SEO优化。先声明一下，不是专门做SEO的，只是对SEO有所了解，所以这篇WordPress的robots.txt的SEO优化的文章，大家做一下参考即可。如果关于Wordpress的robots.txt的优化大家有什么别的看法、意见，也欢迎在本文章后面评论提出。

先说一下做的这个SEO优化的原则，就是集中网站的权重，让搜索引擎抓取有价值的东西，减少网站主机的带宽和资源消耗。这个我想是任何一个网站的robots.txt文件所要做的优化。下面先提供自己的robots.txt文件：

User-Agent: *#允许所有的搜索引擎抓取网站Allow: /wp-content/uploads/#允许/wp-content/uploads/目录被抓取，这个目录是网站的图片等附件Disallow: /cgi-bin/#不允许抓取/cgi-bin/目录，这个是一个主机的什么目录Disallow: /wp-*#不允许抓取任意wp-开头的目录，因为都是Wordpress系统程序等，自定义链接的时候也不要以wp-开头Disallow: /*/trackback/#不允许抓取任意目录的Ping功能地址Disallow: /feed/#不允许抓取网站的RSS订阅地址Disallow: /*/feed/#不允许抓取网站栏目的RSS订阅地址Disallow: /comments/#不允许抓取网站的评论地址Disallow: /*/comments/#不允许抓取网站栏目的评论地址Disallow: /page/#不允许抓取网站的分页Disallow: /*/page/#不允许抓取网站栏目的分页Disallow: /*.js$#不允许抓取网站的js文件Disallow: /*.css$#不允许抓取网站的css文件Disallow: /*?*#不允许抓取网站的动态地址Disallow: /avatar/#不允许抓取avatar目录Sitemap: https://www.noniu.com/sitemap.xml#向搜索引擎提交网站地图

已经对上面的robots.txt文件进行了逐句解释。之所以要禁止这些目录抓取，大家应该有自己的看法，可以自己在后面添加或者删除某些目录禁用抓取。对于禁止网站分页的抓取，是觉得那样会分散网站的权重，所以就禁止网站分页抓取。如果你有不同的意见，可以自己修改robots.txt文件，提供的只作为参考。特别强调一下，修改上传之后，一定要用谷歌或者百度的站长工具测试一下，特别是谷歌的站长工具，功能很强大的。

以上就是关于WordPress的robots.txt的SEO优化的全部内容，如果你是用的其他的程序建的网站，也需要考虑一下网站的robots.txt文件的优化，这个很重要哦。