如果记录爬虫
程序员文章站
2022-04-08 14:11:33
...
看到ecshop有个爬虫记录插件,记录哪个搜索引擎爬了哪个页面,但我对ECSHOP又不了解,又样知道这功能实现方式。
某个页面,如何判断是用户访问还爬虫访问?是哪个爬虫?
某个页面,如何判断是用户访问还爬虫访问?是哪个爬虫?
----------已解决,通过 HTTP_USER_AGENT ----------
"Baiduspider",
"Googlebot",
"360Spider",
"Sosospider",
"sogou spider"
回复内容:
看到ecshop有个爬虫记录插件,记录哪个搜索引擎爬了哪个页面,但我对ECSHOP又不了解,又样知道这功能实现方式。
某个页面,如何判断是用户访问还爬虫访问?是哪个爬虫?
----------已解决,通过 HTTP_USER_AGENT ----------
"Baiduspider",
"Googlebot",
"360Spider",
"Sosospider",
"sogou spider"