GEOZ
让优质内容被 AI 引用
首页
最新文章
GEO
AI大模型
DeepSeek
llms.txt
schema
RSS
菜单
Entity
用户代理(User-Agent)
HTTP 请求头的一部分,用于标识发起请求的客户端(如浏览器或爬虫)。Google 爬虫在 HTTP 请求中会包含特定的 User-Agent 字符串,网站可通过该字符串识别爬虫。
相关文章
Googlebot 不止一个:图片、视频、新闻爬虫的 robots.txt 令牌差异