Entity
robots.txt
A text file that instructs web crawlers which pages or files to access or ignore on a website.
术语属性
- Purpose：Control web crawler access
- Format：Text file
相关文章
给 AI 爬虫单独开白名单，近三成网站反而放行了搜索页和账户页品牌在AI答案里只活30%：GEO正在改写搜索规则llms.txt 部署实战：30 分钟给 AI 爬虫画一张重点地图一万个网站的 robots.txt 暴露了一个盲区：大家都在封训练爬虫，却忘了答案爬虫Googlebot 抓不到你的网站，AI 搜索里也不会有你Googlebot 不止一个：图片、视频、新闻爬虫的 robots.txt 令牌差异Google SEO 第一步不是买外链，而是先确认 Google 能抓到你AI爬虫放行只是入场券：robots.txt改完，内容结构才是被推荐的关键AI 爬虫 robots.txt 配置：大部分站长其实什么都不用改技术项全过、引用次数为零：AI 爬虫配置清单实测复盘网站内容正常却搜不到？可能是 robots.txt 把 AI 爬虫挡在门外了GEO实战：2026年AI搜索可见性提升清单