开源大模型工具链OpenBMB：2024年降低AI开发门槛指南

Introduction

人工智能领域正在经历由大语言模型（LLMs）驱动的范式转变。这些拥有数十亿甚至数万亿参数的模型，在各种任务中展现出了卓越的能力。然而，它们的开发与部署也带来了巨大挑战，包括高昂的计算成本、复杂的训练流程以及研究人员和开发者面临的高门槛。为了应对这些挑战，OpenBMB 倡议应运而生。

OpenBMB，全称为 Open Lab for Big Model Base，是一个雄心勃勃的开源项目，致力于为大规模预训练语言模型构建一个全面的生态系统。其核心使命是加速百亿参数以上模型的训练、微调和推理，从而降低使用门槛并培育一个全球性的协作社区。通过提供标准化的工具和协议，OpenBMB 旨在推动大语言模型的标准化、普及化和实用化，最终使这项强大技术惠及更广泛的群体。

Official Resources:

官方资源：

• 官网: https://www.openbmb.org
• GitHub: https://github.com/OpenBMB

The OpenBMB Capability Framework

为了系统性地实现其目标，OpenBMB 设计了一个四层能力体系。该框架确保以系统化的方法，为大规模预训练模型构建一个易用、全面且标准化的生态系统。

1. Data Layer

这一基础层专注于构建用于大规模数据自动收集、自动清洗和高效存储的模块与工具。高质量的数据是训练强大语言模型的燃料，该层为支持模型训练提供了必要的基础设施。

2. Tool Layer

这是核心的操作层，针对大语言模型生命周期的四个主要场景：模型训练、微调、推理和应用。OpenBMB 为每个阶段开发和发布开源工具包，旨在提高全流程效率，降低计算和人力成本。

3. Model Layer

该层涉及构建与 OpenBMB 工具兼容的大模型开源仓库。它包括通用模型（如 BERT、GPT、T5）和来自“悟道”项目的专业开源模型（如 CPM、EVA、GLM）。该仓库不断扩展，以提供全面的模型能力。

4. Protocol Layer

为了确保开源社区内的合理治理和保护，该层涉及发布通用模型许可协议。该协议规范了模型发布和使用过程中发布者与使用者的权利和义务。该协议的初稿已经开源。

Core Toolchain: Powering the LLM Workflow

OpenBMB 体系内的工具设计为协同工作，覆盖了开发和部署大语言模型的端到端流程。它们构成了该倡议的实践支柱。

Model Training Suite

BMData 负责高质量数据清洗、处理与存储，为大模型训练提供全面、综合的数据支持。

BMTrain大模型训练“发动机”。一个用于高效进行大模型预训练与微调的工具。其核心优势在于显著降低训练成本，据称相比DeepSpeed等框架可节省90%成本。 实现高效的大模型预训练与微调。与 DeepSpeed 等框架相比，BMTrain 训练模型成本可节省高达 90%。

BMCook大模型“瘦身”工具库。一个专注于大模型高效压缩的工具，通过整合量化、剪枝、知识蒸馏、专家化（MoE）等多种算法，在最大限度保持模型性能（如90%+）的同时，大幅提升推理速度（如加速10倍）。 进行大模型高效压缩以提升运行效率。通过量化、剪枝、蒸馏、专家化等算法组合，可保持原模型 90% 以上的效果，同时实现高达 10 倍的推理加速。

Model Fine-tuning Suite

OpenPrompt大模型提示学习利器。一个提供统一接口的提示学习（Prompt Learning）模板语言的工具包。它具有高度的组合性和模块化设计，方便开发者快速部署和应用各种提示学习方法。 提供统一接口的提示学习模板语言。自 2021 年发布以来，已在 GitHub 上获得超过 1.3k 星标，每周访问量超过 10K。

OpenDeltaOpenBMB工具库中的组件，支持研究者在各类预训练模型中实现增量微调方法。 实现参数高效的大模型微调。仅更新极少参数（小于 5%）即可达到全参数微调的效果。

Delta CenterDelta Object分享中心。OpenBMB社区内的一个平台，提供Delta Object（即通过OpenDelta等工具微调产生的参数增量）的上传、分享、检索和下载功能，鼓励开发者共享微调成果。 提供 Delta Object 的上传、分享、检索、下载功能，鼓励社区开发者共享微调后的模型能力。

Model Inference Suite

BMInf大模型推理套件。一个实现大模型低成本、高效推理计算的工具。其突出特点是支持在消费级硬件（如单块GTX 1060显卡）上运行百亿参数级别的大模型进行推理。 实现大模型低成本高效推理计算。使用单块千元级消费显卡（如 GTX 1060）即可进行百亿参数大模型推理。自 2021 年发布以来，已在 GitHub 上获得 200+ 星标。

BMInf、OpenPrompt 和 OpenDelta 等工具已经发布，并在开源社区内获得了广泛关注和应用。OpenBMB 持续开发和发布 BMTrain、BMCook 及 Model Center 等更多工具，以完善高效计算工具链。

The Driving Force: The OpenBMB Team

OpenBMB 开源社区由清华大学自然语言处理实验室和智源研究院语言大模型加速技术创新中心共同支持发起。

发起团队在自然语言处理和预训练模型研究方面拥有深厚基础。其显著成就包括：

• 最早提出知识指导的预训练模型 ERNIE知识增强的预训练语言模型。由OpenBMB发起团队最早提出，通过融入知识图谱等结构化知识来指导预训练，是融合知识的预训练语言模型的代表方法之一。（发表于 ACL 2019，被引超过 600 次）。
• 主导研发“悟道·文源”中文大规模预训练语言模型 CPM-1 和 CPM-2，参数量最高达 1980 亿。
• 在模型预训练、提示学习、模型压缩等方向的顶级国际会议上发表数十篇高水平论文。
• 拥有丰富的自然语言处理技术开源经验，发布了 OpenKE、OpenNRE 等一系列有世界影响力的工具包，在 GitHub 上累计获得超过 5.8 万星标。

Key Initiators:

主要发起人：

• 孙茂松: 清华大学教授，智源研究院自然语言处理方向首席科学家。
• 刘知远: 清华大学副教授，智源青年科学家。
• 韩旭: 清华大学博士生，悟道模型团队骨干成员。
• 曾国洋: 清华大学毕业生，智源研究院语言大模型加速技术创新中心副主任。
• 丁宁: 清华大学博士生，OpenPrompt 与 OpenDelta 核心开发者。
• 张正彦: 清华大学博士生，悟道模型团队骨干成员。

Conclusion and Call for Collaboration

无论您是从事前沿大模型研究的研究人员、构建应用的开发者，还是单纯对此技术充满热情的爱好者，OpenBMB 都欢迎您探索和使用其开源工具与模型库。每一份反馈和贡献都将指引我们前进的方向。

OpenBMB 社区推崇简洁，追求极致，并相信数据与模型的力量。我们邀请志同道合者加入，共同为大模型的应用落地添砖加瓦，携手努力，让这项变革性技术早日飞入千家万户。

转载自: https://mp.weixin.qq.com/s/jRi4sodNZqgDWTaDYSEWZw