谷歌说没用,84 万网站却已挂上 llms.txt

AI Summary (BLUF)
LLMs.txt 是一个提议中的 Markdown 文件标准,放在网站根目录,专门帮大语言模型更高效地理解网站内容。它类似 robots.txt,但目的是优化 AI 抓取而非控制爬虫。目前谷歌明确不支持,Anthropic 等公司已采用,业内对其实际效果仍有争议。
核心洞察
LLMs.txtA lightweight content standard designed for large language models to efficiently understand website content through structured files. 这事挺有意思:一边是谷歌公开泼冷水说"这玩意儿没用",一边是超过 84 万个网站已经悄悄把文件挂上去了。Jeremy HowardCo-founder of Answer.AI who proposed the LLMs.txt standard for AI-content interaction. 提的这个标准,本质上是在赌一件事——未来网站的主要访客可能不是人,是 AI 爬虫。赌对了就是下一个 robots.txtA text file that instructs web crawlers which pages or files to access or ignore on a website.,赌错了就是又一个没人维护的静态文件。
核心结论
截至 2025 年底,已有超过 84.4 万个网站创建了 llms.txt 文件,且 2026 年这一数字仍在持续增长。
谷歌搜索团队于 2026 年 1 月明确表态不支持 LLMs.txt,称其并非官方认可标准,约翰·穆勒建议开发者将该文件设为不被索引。
在主要 AI 提供商中,仅 AnthropicAn AI research and safety company known for developing large language models like Claude. 明确表态支持 LLMs.txt;OpenAIAn AI research and deployment company whose top models were used as a performance benchmark by DeepSeek. 爬虫会访问该文件但未确认是否实际使用;Cloudflare云服务提供商,支持边缘函数、静态资源部署等,Astro 项目可通过 @astrojs/cloudflare 集成部署。、Perplexity、ElevenLabs、Cursor 等公司已采用。
LLMs.txt 由 Answer.AI 联合创始人 Jeremy Howard 发起,目前仅为提议标准,未获 W3C 等标准组织认证,与 robots.txt 的区别在于前者管"你该怎么读"、后者管"你能不能爬"。
微信支付A mobile payment and digital wallet service integrated into the WeChat app.商户平台于 2026 年 4 月宣布产品文档站点新增 llms.txt 索引,Yoast SEO 等插件也已加入支持。
基本含义
LLMs.txt 是一个放在网站根目录的 Markdown 文件,专门给大语言模型驱动的搜索引擎看。它跟 robots.txt 是邻居,但服务对象不一样:robots.txt 管的是"你能不能爬",LLMs.txt 管的是"你该怎么读"。
文件里放的是结构化的网站内容和元数据,目的是让 AI 模型更准、更快地理解这个网站到底在讲什么。这个标准由 Answer.AI 联合创始人 Jeremy Howard 发起,目前还只是个提议,W3C 之类的标准组织并没有认证它。
应用
标准定义了两个文件。一个是精简版,只提供网站的导航视图,相当于给 AI 一张目录;另一个是完整版,把网站所有文档内容都塞进去,让 AI 一次读个够。
生成这文件的工具已经有不少了。Vitepress 有插件,dotenv 做了开源命令行工具,Firecrawl提供网站内容爬取和提取服务的平台,为LLMs.txt生成器提供技术支持。 和 MintlifyA tool that automatically generates LLMs.txt files for websites to optimize AI content understanding. 也各自有生成方案,WordPress 那边也有插件可用。部署方式很简单,把生成好的文件传到网站根目录就行。内容更新了记得同步更新文件,不然 AI 读到的是旧版本。
已经动手的公司名单不短:Cloudflare、Anthropic、Perplexity、ElevenLabs、Cursor 都在用。微信支付商户平台在 2026 年 4 月也宣布产品文档站点新增了 llms.txt 索引。
但整体采用速度不算快。主要 AI 提供商里,只有 Anthropic 明确表态支持。OpenAI 的爬虫会访问这个文件,但没确认会不会真的用。谷歌的态度最直接——不支持,而且觉得这东西可能根本没用。
支持的人认为 LLMs.txt 能优化内容抓取、减少 AI 幻觉。质疑的人说缺乏有效证据,还可能产生冗余内容甚至垃圾信息。两边都有道理,目前谁也说服不了谁。
LLMs.txt 代表的是一种"AI 优先"的文档策略思路。至于它能不能变成广泛应用的网络标准,还得再看。
争议事件
2026 年 1 月,谷歌搜索团队在社交平台上回应疑问,明确说 LLMs.txt 不是官方认可的标准。有意思的是,几周前谷歌的内容管理系统还支持过这个文件,甚至加进了开发者文档,然后很快又撤掉了。
搜索团队的约翰·穆勒说得很直白:谷歌不会用这个文件,而且认为它可能没什么用。他还建议开发者把文件设成不被索引,理由是它对开发者没有实际价值。这个声明至少避免了外界继续误解谷歌的立场,也说明谷歌对这个标准相当谨慎。
后续发展
分析和归因技术在进步,llms.txt 在生成式 AI 领域可能会用得更多。用大语言模型搜索引擎的客户在增加,智能体工作流也在扩展,这两股力量可能让 llms.txt 在现代网络里占到一席之地。
实际采用数字在涨。截至 2025 年底,超过 84.4 万个网站创建了 llms.txt 文件,2026 年这个数字还在往上走。微信支付 2026 年 4 月发布了面向 AI 的支付接入能力体系,产品文档站点也加了 llms.txt 索引。Yoast SEO 等插件先后加入支持。开发者对这个标准的关注没有减少,应用场景也没看到明显受限的迹象。
常见问题(FAQ)
llms.txt 到底是什么?和 robots.txt 有什么区别?
它是放在网站根目录的 Markdown 文件,专门帮大语言模型理解网站内容。robots.txt 管“能不能爬”,llms.txt 管“该怎么读”,目的是优化 AI 抓取而非控制爬虫。
谷歌支持 llms.txt 吗?现在有哪些公司在用?
谷歌明确不支持,约翰·穆勒称其可能没用,还建议设为不被索引。Anthropic 已采用,Cloudflare、Perplexity、Cursor 等也在用,微信支付文档站 2026 年 4 月也加了索引。
llms.txt 实际效果有争议,到底值不值得部署?
目前业内尚无定论。支持者认为能优化抓取、减少幻觉;质疑者称缺乏有效证据,还可能产生冗余内容。截至 2025 年底已有超 84.4 万网站部署,可先观望再决定。
版权与免责声明:本文仅用于信息分享与交流,不构成任何形式的法律、投资、医疗或其他专业建议,也不构成对任何结果的承诺或保证。
文中提及的商标、品牌、Logo、产品名称及相关图片/素材,其权利归各自合法权利人所有。本站内容可能基于公开资料整理,亦可能使用 AI 辅助生成或润色;我们尽力确保准确与合规,但不保证完整性、时效性与适用性,请读者自行甄别并以官方信息为准。
若本文内容或素材涉嫌侵权、隐私不当或存在错误,请相关权利人/当事人联系本站,我们将及时核实并采取删除、修正或下架等处理措施。也请勿在评论或联系信息中提交身份证号、手机号、住址等个人敏感信息。




