
Googlebot 不止一个:图片、视频、新闻爬虫的 robots.txt 令牌差异
BLUF
本文是 Google 官方关于常用抓取工具的参考文档,详细列出了 Googlebot、Googlebot Image、Googlebot Video、Googlebot News、Google StoreBot 和 Google-InspectionTool 等爬虫的 HTTP 用户代理字符串、robots.txt 令牌以及受影响的产品。技术专业人员可据此配置 robots.txt 规则,精确控制各爬虫的抓取行为。工具与标准2026/9/21







