GEOZ

Entity

Googlebot

Google 的主要网页抓取工具,用于为 Google 搜索和其他产品抓取网页内容。它遵循 robots.txt 规则,并从 googlebot.json 中发布的 IP 范围进行抓取。

术语属性

  • userAgentMozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)(智能手机版)
  • robotsTokenGooglebot
  • affectedProductsGoogle 搜索、Google 图片、Google 视频、Google 新闻、Google 探索

相关文章