自从用了七牛云的Robots后,百度无法抓取。诊断显示robots禁止。请问哪里出了问题?
程序员文章站
2022-04-13 14:35:10
...
自从用了七牛云的Robots后,百度无法抓取。诊断显示robots禁止。而robots我用的是七牛云提供的默认的。请问哪里出了问题?
回复内容:
自从用了七牛云的Robots后,百度无法抓取。诊断显示robots禁止。而robots我用的是七牛云提供的默认的。请问哪里出了问题?
我明白了。七牛云提供的robots是要放在七牛云盘,不是放在我网站里面。。。唉。。。。
把所有的disallow
改成allow
,表示允许搜索引擎爬取
上一篇: Java中关于单例模式垃圾回收的示例详解
下一篇: js实现标签点击切换代码(附代码)