Entity

X-Robots-Tag

HTTP响应头标签，可提供比robots.txt更细粒度的爬虫控制，如noai指令可禁止内容用于模型训练但允许实时检索引用。