通往开放AI未来之路：为何Llama 3.1代表一个转折点

引言：历史性的平行对照

　　在高性能计算（High-Performance Computing）的 formative 时代，行业的发展轨迹由各大科技公司开发的专有、闭源 Unix（Unix）系统所主导。当时的普遍观点认为，如此复杂、先进的软件只能在严格控制的企业环境中构建。协作式、开放式的替代方案似乎难以想象。然而，开源 Linux（Linux）的崛起从根本上改变了这一格局。最初，Linux 因其经济性和为开发者提供的修改源代码的自由而获得关注，随后逐渐发展，在复杂性、安全性以及支持生态系统的广度上超越了其专有对手。如今，它是云基础设施的基石，并为大多数移动设备提供动力，为所有人带来了更优质的产品和创新。

　　我相信人工智能（Artificial Intelligence）正准备好遵循一条极其相似的发展道路。目前，几家领先的科技公司正在开发最先进的闭源模型。然而，开源社区正在迅速缩小性能差距。就在去年，像 Llama 2 这样的模型只能与前沿模型的上一代产品竞争。今年，Llama 3 已经展现出与最先进系统竞争的实力，并在特定基准测试（Benchmark）中领先。展望未来，我们预计 Llama 的未来迭代版本将为行业的能力标准树立标杆。即使在今天，Llama 系列已经在开放性、可修改性和成本效益这些关键维度上确立了领导地位。

宣布 Llama 3.1：开源AI的新前沿

　　今天，我们朝着确立开源 AI 为行业标准的目标迈出了重要一步。我们正式发布 Llama 3.1 405B，这是首个在真实能力前沿运行的开源 AI 模型。与此同时，我们推出了新版且性能提升的 Llama 3.1 70B 和 8B 模型。除了相比闭源模型提供显著更优的性价比之外，405B 模型的开源特性将使其成为微调（Fine-tuning）以及将知识提炼（Distillation）到更小、更高效模型这一过程的首选。

构建强大的生态系统

　　我们的承诺不止于模型发布。我们正与众多行业伙伴合作，共同培育一个全面而繁荣的生态系统。

• 云与平台提供商（Cloud & Platform Providers）：亚马逊（Amazon）、Databricks 和英伟达（NVIDIA）正在推出全套服务，以支持开发者微调和提炼他们自己的定制模型。

• 推理专家（Inference Specialists）：像 Groq 这样的创新者已经构建了针对所有新 Llama 3.1 模型优化的低延迟、高性价比的推理服务基础设施。

• 广泛可用性（Broad Availability）：这些模型将在所有主要云平台上可用，包括 AWS、Azure、Google Cloud、Oracle Cloud 等。

• 企业赋能（Enterprise Enablement）：Scale AI、戴尔（Dell）、德勤（Deloitte）等公司已准备就绪，可协助企业采用 Llama 并使用其专有数据训练定制模型。

　　随着这个社区的壮大以及更多公司在此基础之上开发新服务，我们可以共同将 Llama 确立为行业标准，从而让先进 AI 的益处惠及所有人。

　　Meta 坚定致力于开源 AI 范式（Paradigm）。在接下来的部分，我将阐述为何开源是开发者的最佳开发堆栈（Development Stack），为何开源 Llama 符合 Meta 的战略利益，以及为何开源方法从根本上有利于全球进步，并因此是一个可持续的长期平台。

为什么开源AI对开发者有利

　　在我与全球开发者、CEO 和政府官员的讨论中，关于他们对 AI 技术的需求，出现了几个一致的主题：

　　1. 定制与控制的需求（The Need for Customization and Control） 每个组织都有独特的需求，最好通过在不同规模、使用特定专有数据集进行训练或微调的模型来解决。简单的设备端任务或分类可能需要小模型，而复杂的推理则需要大模型。借助像 Llama 3.1 这样的开源模型，你可以基于最先进的基础模型，使用自己的数据进行持续的预训练（Pre-training）或微调，随后将其提炼至最优规模——同时保持完全的数据隐私，因为 Meta 或任何第三方都无需接触你的敏感信息。

　　2. 避免供应商锁定（Avoiding Vendor Lock-in） 许多组织警惕依赖于他们无法独立运行、审计或控制的模型。他们希望避免闭源模型提供商单方面改变模型行为、更改服务条款甚至停止服务的场景。此外，他们也希望避免被绑定在某个对模型拥有独家权利的单一云提供商上。开源培育了一个由提供兼容工具链和服务的公司组成的广泛生态系统，确保了可移植性和选择自由。

　　3. 确保数据安全与隐私（Ensuring Data Security and Privacy） 处理敏感数据的组织——无论是在医疗、金融还是政府领域——不能冒险将其传输到外部云 API 由闭源模型处理。其他组织则根本不信任闭源提供商的数据管理实践。开源通过使模型能够在组织自己的安全基础设施（无论是本地还是私有云）内部署和运行，直接解决了这些担忧。人们也普遍认为，由于其透明的开发过程和广泛的同行评审，开源软件往往能达到更高的安全标准。

　　4. 要求效率与可负担性（Demanding Efficiency and Affordability） 成本效益对于扩展 AI 应用至关重要。开发者可以在自己的基础设施上运行 Llama 3.1 405B 进行推理，其成本大约仅为使用 GPT-4o 等类似闭源模型的 50%，无论是面向用户的应用还是离线批处理任务。

　　5. 投资于长期标准（Investing in a Long-Term Standard） 许多人认识到，开源 AI 的创新速度正在超过闭源模型领域。他们希望在这样一个架构基础上构建其关键系统：它不仅承诺当下的竞争力，更承诺未来的持续优势以及社区驱动的演进。

为什么开源AI对Meta有利

　　Meta 的核心商业模式围绕着为用户创造最佳的体验和服务。为了实现这一目标，我们必须保证永远能够获取最先进的技术，并避免陷入竞争对手的封闭生态系统中，因为在那里我们的创新能力可能会受到任意限制。

　　对我而言，一个塑造性的经历是在苹果 iOS 等平台上构建服务时所面临的限制。费用、任意规则以及对产品创新的阻碍结合在一起，清楚地表明，如果 Meta 以及无数其他公司不受平台守门人强加的战略限制的阻碍，我们本可以提供卓越得多的服务。从理念上讲，这是我坚信为下一代计算（包括 AI 和增强/虚拟现实 AR/VR）构建开放生态系统的一个主要原因。

　　一个常见的问题是，我是否担心通过开源 Llama 会丧失技术优势。我认为，这种观点忽略了更广泛的战略图景，原因如下：

　　首先（First），为了确保我们长期获取领先技术并避免锁定，Llama 必须发展成为一个完整的生态系统，涵盖工具、效率提升、芯片优化和集成。如果 Meta 是唯一使用 Llama 的实体，这个丰富的生态系统将永远无法形成，我们将处于一个不利的位置。