Entity

RFC 9309

robots.txt 的官方标准文档，规定了爬虫匹配规则，包括用户代理组的优先级。