GEOZ

Entity

Sitemap

网站地图文件，帮助爬虫快速遍历全站页面，提升抓取效率。

术语属性

  • 格式：XML
  • 位置：通常在网站根目录
  • 声明方式：robots.txt中Sitemap指令

相关文章

网站内容正常却搜不到？可能是 robots.txt 把 AI 爬虫挡在门外了