NVIDIA H100 GPU在MLPerf基准测试中表现如何？2026年生成式AI性能实测

领先的用户和行业标准基准测试一致认为：NVIDIA H100 Tensor Core GPU 提供了最佳的人工智能性能，尤其是在驱动生成式 AI 的大型语言模型上。

在今天发布的最新 MLPerf 训练基准测试中，H100 GPU 在所有八项测试中均创下新纪录，并在新增的生成式 AI 测试中表现卓越。这种卓越性能不仅体现在单个加速器上，也在大规模服务器集群中得以实现。

例如，在一个由初创公司 Inflection AI 联合开发、并由专注于 GPU 加速工作负载的云服务提供商 CoreWeave 运营的、包含 3,584 个 H100 GPU 的商业化集群上，该系统在不到 11 分钟内完成了基于大规模 GPT-3 的训练基准测试。

“得益于我们部署在高速、低延迟 InfiniBand 网络上的数千个 H100 GPU，我们的客户如今正在大规模构建最先进的生成式 AI 和大型语言模型，” CoreWeave 的联合创始人兼首席技术官 Brian Venturo 表示。“我们与 NVIDIA 联合提交的 MLPerf 结果清晰地展示了我们的客户所享有的卓越性能。”

当前可用的顶级性能

Inflection AI 利用这一性能构建了其首款个人 AI “Pi”（代表个人智能）背后的先进大型语言模型。该公司将作为一个 AI 工作室，创建用户可以通过简单、自然方式与之互动的个人 AI。

“任何人都可以基于我们在 CoreWeave 强大的 H100 GPU 网络上训练出的最先进大型语言模型，体验个人 AI 的力量，” Inflection AI 的首席执行官 Mustafa Suleyman 说。

Inflection AI 由 Mustafa、DeepMind 的 Karén Simonyan 和 Reid Hoffman 于 2022 年初联合创立，旨在与 CoreWeave 合作，使用 NVIDIA GPU 构建全球最大的计算集群之一。

性能数据一览

这些用户体验反映了在今天宣布的 MLPerf 基准测试中所展示的性能。

H100 GPU 在包括大型语言模型、推荐系统、计算机视觉、医学成像和语音识别在内的每一项基准测试中都提供了最高性能。它们是唯一运行了全部八项测试的芯片，展示了 NVIDIA AI 平台的多功能性。

大规模运行的卓越表现

训练通常是由多个 GPU 协同工作的大规模任务。在每一项 MLPerf 测试中，H100 GPU 都为 AI 训练创下了新的大规模性能纪录。

全技术栈的优化使得在要求严苛的 LLM 测试中，随着提交结果从数百个扩展到数千个 H100 GPU，性能实现了近乎线性的扩展。

此外，CoreWeave 从云端提供的性能与 NVIDIA 在本地数据中心运行的 AI 超级计算机所实现的性能相似。这证明了 CoreWeave 所使用的 NVIDIA Quantum-2 InfiniBand 网络的低延迟特性。

在本轮测试中，MLPerf 还更新了其推荐系统的基准测试。新测试使用了更大的数据集和更现代的 AI 模型，以更好地反映云服务提供商面临的挑战。NVIDIA 是唯一在增强版基准测试上提交结果的公司。

不断扩展的 NVIDIA AI 生态系统

本轮测试中，有近十几家公司基于 NVIDIA 平台提交了结果。他们的工作表明，NVIDIA AI 拥有机器学习领域最广泛的生态系统支持。

提交方包括华硕、戴尔科技、技嘉、联想和 QCT 等主要系统制造商。超过 30 份提交结果是在 H100 GPU 上运行的。

这种参与度让用户知道，无论是在云端还是在自有数据中心运行的服务器中，他们都能通过 NVIDIA AI 获得卓越性能。

全工作负载性能表现

NVIDIA 生态系统合作伙伴参与 MLPerf 是因为他们知道，这对于客户评估 AI 平台和供应商来说是一个有价值的工具。

这些基准测试涵盖了用户关心的各种工作负载——除了生成式 AI 和推荐系统，还包括计算机视觉、翻译和强化学习。

用户可以信赖 MLPerf 的结果来做出明智的购买决策，因为这些测试是透明和客观的。该基准测试得到了包括 Arm、百度、Facebook AI、谷歌、哈佛、英特尔、微软、斯坦福大学和多伦多大学在内的广泛团体支持。

目前，MLPerf 结果已在 H100、L4 和 NVIDIA Jetson 平台上发布，涵盖 AI 训练、推理和 HPC 基准测试。我们也将在未来的 MLPerf 轮次中提交基于 NVIDIA Grace Hopper 系统的结果。

能源效率的重要性

随着 AI 性能需求的增长，提高实现该性能的效率至关重要。这正是加速计算的作用。

采用 NVIDIA GPU 加速的数据中心使用更少的服务器节点，因此占用更少的机架空间和能源。此外，加速网络提高了效率和性能，持续的软件优化在相同硬件上带来了额外的增益。

高能效性能对地球和商业都有利。提高性能可以加快产品上市时间，并让组织构建更先进的应用程序。

能源效率还降低了成本，因为采用 NVIDIA GPU 加速的数据中心使用更少的服务器节点。事实上，在最新的 Green500 榜单中，排名前 30 的超级计算机里有 22 台由 NVIDIA 提供动力。

面向所有人的可用软件

NVIDIA AI Enterprise 作为 NVIDIA AI 平台的软件层，可在领先的加速计算基础设施上实现优化性能。该软件提供了在企业数据中心运行 AI 所需的企业级支持、安全性和可靠性。

用于这些测试的所有软件都可以从 MLPerf 存储库获取，因此几乎任何人都可以获得这些世界级的结果。

优化成果持续集成到 NGC（NVIDIA 的 GPU 加速软件目录）上提供的容器中。

阅读这篇技术博客，深入了解推动 NVIDIA 在 MLPerf 中实现卓越性能和效率的优化技术。

常见问题（FAQ）

NVIDIA H100 GPU在MLPerf基准测试中具体取得了哪些成绩？

NVIDIA H100 Tensor Core GPU在MLPerf训练基准测试的所有八项测试中均创下新纪录，包括生成式AI、推荐系统、计算机视觉等，展示了全工作负载的顶级性能表现。

H100 GPU在大规模集群上的性能表现如何？

在包含3,584个H100 GPU的商业化集群上，系统在11分钟内完成了GPT-3训练基准测试，实现了近乎线性的性能扩展，证明其在大规模配置下同样具备卓越表现。

这些性能突破对实际应用有什么意义？

Inflection AI等公司已利用H100 GPU集群训练出先进的大型语言模型，如个人AI“Pi”，这体现了当前可用的顶级性能正推动生成式AI的实际创新与应用。