谷歌说没用,84 万网站却已挂上 llms.txt

2026/11/18
谷歌说没用,84 万网站却已挂上 llms.txt

AI Summary (BLUF)

LLMs.txt 是一个提议中的 Markdown 文件标准,放在网站根目录,专门帮大语言模型更高效地理解网站内容。它类似 robots.txt,但目的是优化 AI 抓取而非控制爬虫。目前谷歌明确不支持,Anthropic 等公司已采用,业内对其实际效果仍有争议。

核心洞察

LLMs.txt 这事挺有意思:一边是谷歌公开泼冷水说"这玩意儿没用",一边是超过 84 万个网站已经悄悄把文件挂上去了。Jeremy Howard 提的这个标准,本质上是在赌一件事——未来网站的主要访客可能不是人,是 AI 爬虫。赌对了就是下一个 robots.txt,赌错了就是又一个没人维护的静态文件。


核心结论

  1. 截至 2025 年底,已有超过 84.4 万个网站创建了 llms.txt 文件,且 2026 年这一数字仍在持续增长。

  2. 谷歌搜索团队于 2026 年 1 月明确表态不支持 LLMs.txt,称其并非官方认可标准,约翰·穆勒建议开发者将该文件设为不被索引。

  3. 在主要 AI 提供商中,仅 Anthropic 明确表态支持 LLMs.txt;OpenAI 爬虫会访问该文件但未确认是否实际使用;Cloudflare、Perplexity、ElevenLabs、Cursor 等公司已采用。

  4. LLMs.txt 由 Answer.AI 联合创始人 Jeremy Howard 发起,目前仅为提议标准,未获 W3C 等标准组织认证,与 robots.txt 的区别在于前者管"你该怎么读"、后者管"你能不能爬"。

  5. 微信支付商户平台于 2026 年 4 月宣布产品文档站点新增 llms.txt 索引,Yoast SEO 等插件也已加入支持。

基本含义

LLMs.txt 是一个放在网站根目录的 Markdown 文件,专门给大语言模型驱动的搜索引擎看。它跟 robots.txt 是邻居,但服务对象不一样:robots.txt 管的是"你能不能爬",LLMs.txt 管的是"你该怎么读"。

文件里放的是结构化的网站内容和元数据,目的是让 AI 模型更准、更快地理解这个网站到底在讲什么。这个标准由 Answer.AI 联合创始人 Jeremy Howard 发起,目前还只是个提议,W3C 之类的标准组织并没有认证它。

应用

标准定义了两个文件。一个是精简版,只提供网站的导航视图,相当于给 AI 一张目录;另一个是完整版,把网站所有文档内容都塞进去,让 AI 一次读个够。

生成这文件的工具已经有不少了。Vitepress 有插件,dotenv 做了开源命令行工具,Firecrawl 和 Mintlify 也各自有生成方案,WordPress 那边也有插件可用。部署方式很简单,把生成好的文件传到网站根目录就行。内容更新了记得同步更新文件,不然 AI 读到的是旧版本。

已经动手的公司名单不短:Cloudflare、Anthropic、Perplexity、ElevenLabs、Cursor 都在用。微信支付商户平台在 2026 年 4 月也宣布产品文档站点新增了 llms.txt 索引。

但整体采用速度不算快。主要 AI 提供商里,只有 Anthropic 明确表态支持。OpenAI 的爬虫会访问这个文件,但没确认会不会真的用。谷歌的态度最直接——不支持,而且觉得这东西可能根本没用。

支持的人认为 LLMs.txt 能优化内容抓取、减少 AI 幻觉。质疑的人说缺乏有效证据,还可能产生冗余内容甚至垃圾信息。两边都有道理,目前谁也说服不了谁。

LLMs.txt 代表的是一种"AI 优先"的文档策略思路。至于它能不能变成广泛应用的网络标准,还得再看。

争议事件

2026 年 1 月,谷歌搜索团队在社交平台上回应疑问,明确说 LLMs.txt 不是官方认可的标准。有意思的是,几周前谷歌的内容管理系统还支持过这个文件,甚至加进了开发者文档,然后很快又撤掉了。

搜索团队的约翰·穆勒说得很直白:谷歌不会用这个文件,而且认为它可能没什么用。他还建议开发者把文件设成不被索引,理由是它对开发者没有实际价值。这个声明至少避免了外界继续误解谷歌的立场,也说明谷歌对这个标准相当谨慎。

后续发展

分析和归因技术在进步,llms.txt 在生成式 AI 领域可能会用得更多。用大语言模型搜索引擎的客户在增加,智能体工作流也在扩展,这两股力量可能让 llms.txt 在现代网络里占到一席之地。

实际采用数字在涨。截至 2025 年底,超过 84.4 万个网站创建了 llms.txt 文件,2026 年这个数字还在往上走。微信支付 2026 年 4 月发布了面向 AI 的支付接入能力体系,产品文档站点也加了 llms.txt 索引。Yoast SEO 等插件先后加入支持。开发者对这个标准的关注没有减少,应用场景也没看到明显受限的迹象。

常见问题(FAQ)

llms.txt 到底是什么?和 robots.txt 有什么区别?

它是放在网站根目录的 Markdown 文件,专门帮大语言模型理解网站内容。robots.txt 管“能不能爬”,llms.txt 管“该怎么读”,目的是优化 AI 抓取而非控制爬虫。

谷歌支持 llms.txt 吗?现在有哪些公司在用?

谷歌明确不支持,约翰·穆勒称其可能没用,还建议设为不被索引。Anthropic 已采用,Cloudflare、Perplexity、Cursor 等也在用,微信支付文档站 2026 年 4 月也加了索引。

llms.txt 实际效果有争议,到底值不值得部署?

目前业内尚无定论。支持者认为能优化抓取、减少幻觉;质疑者称缺乏有效证据,还可能产生冗余内容。截至 2025 年底已有超 84.4 万网站部署,可先观望再决定。

Roger深圳
本文由 Roger 审核,最后更新于 2026年11月18日
联系编辑 →
← 返回文章列表
分享到:微博

版权与免责声明:本文仅用于信息分享与交流,不构成任何形式的法律、投资、医疗或其他专业建议,也不构成对任何结果的承诺或保证。

文中提及的商标、品牌、Logo、产品名称及相关图片/素材,其权利归各自合法权利人所有。本站内容可能基于公开资料整理,亦可能使用 AI 辅助生成或润色;我们尽力确保准确与合规,但不保证完整性、时效性与适用性,请读者自行甄别并以官方信息为准。

若本文内容或素材涉嫌侵权、隐私不当或存在错误,请相关权利人/当事人联系本站,我们将及时核实并采取删除、修正或下架等处理措施。也请勿在评论或联系信息中提交身份证号、手机号、住址等个人敏感信息。