查看nginx日志百度爬虫信息
程序员文章站
2022-07-03 15:26:52
...
百度蜘蛛BaiduSpider抓取记录
1. 百度蜘蛛爬行的次数
cat access.log | grep Baiduspider | wc
最左面的数值显示的就是爬行次数。
2. 百度蜘蛛的详细记录(Ctrl C可以终止)
cat access.log | grep Baiduspider
上一篇： vue配置less全局变量