RAGstack如何帮助企业部署私有ChatGPT替代方案？（支持Llama 2/Falcon）

引言：企业为何需要私有化RAG方案？

检索增强生成（Retrieval Augmented Generation, RAG） 是一种通过从外部系统检索信息，并将其通过提示词注入大型语言模型（LLM）上下文窗口，从而增强模型能力的技术。这使得LLM能够获取其训练数据之外的信息，这对于几乎所有的企业用例都至关重要。例如，这些信息可以来自当前网页、Confluence或Salesforce等SaaS应用的数据，以及销售合同、PDF等文档。

与微调模型相比，RAG具有显著优势：成本更低、部署更快，并且由于每个响应都附带信息来源，因此可靠性更高。

RAGstack项目旨在提供一个开箱即用的解决方案，让企业能够在自己的虚拟私有云（VPC）内部署一个私有的类ChatGPT替代方案。它可以连接到组织的知识库，充当一个“企业知识库问答助手”，并支持Llama 2、Falcon、GPT4All等开源大语言模型。

RAGstack核心架构解析

RAGstack部署了一套完整的检索增强生成技术栈，其核心组件如下：

开源大语言模型（LLM）

RAGstack支持多种开源LLM，以适应不同的部署环境和硬件需求。

向量数据库：Qdrant

RAGstack选用Qdrant作为其向量搜索引擎。Qdrant是一个用Rust编写的高性能开源向量数据库，支持自托管，能够高效处理高维向量的相似性搜索，是构建RAG系统检索层的理想选择。

服务器与用户界面

RAGstack提供了一个简洁的服务器和Web用户界面，核心功能是处理PDF文件上传。用户可以通过该UI，基于上传的PDF文档内容，与后台的Qdrant向量数据库和选定的开源LLM进行对话式问答。

部署指南：从本地到云端

本地运行（使用GPT4All）

在本地开发环境运行RAGstack是最快捷的体验方式，主要使用CPU运行的GPT4All模型。

1. 环境配置:

   • 复制 ragstack-ui/local.env 到 ragstack-ui/.env
   • 复制 server/example.env 到 server/.env
   • 在 server/.env 和 ragstack-ui/.env 中，将 YOUR_SUPABASE_URL 和 YOUR_SUPABASE_KEY / YOUR_SUPABASE_PUBLIC_KEY 替换为您的Supabase项目凭据（可在Supabase控制台的 Settings > API 中找到）。

2. 数据库准备: 在Supabase中创建 ragstack_users 表，结构如下：

   列名	类型	说明
   id	uuid	主键，用户唯一标识
   app_id	uuid	应用ID
   secret_key	uuid	用户密钥
   email	text	用户邮箱
   avatar_url	text	头像链接
   full_name	text	用户全名

3. 启动服务: 运行 scripts/local/run-dev 脚本。该脚本会自动下载GPT4All模型文件到 server/llm/local/ 目录，并在本地启动服务器、LLM和Qdrant向量数据库。

当在日志中看到 INFO: Application startup complete. 信息时，表示所有服务已就绪。

云端部署对比

RAGstack支持在主流云平台上进行生产级部署，主要使用需要GPU的Falcon-7B或Llama 2模型。所有部署脚本均基于Terraform实现，确保基础设施即代码（IaC）的最佳实践。

通用部署步骤:

1. 运行对应云平台的部署脚本，并根据提示输入必要参数（如云凭证、模型选择、HuggingFace令牌等）。
2. （如适用）若在GCP部署Falcon-7B时遇到GPU驱动相关错误，可能需要手动运行提供的gcloud和kubectl命令来配置GPU驱动。
3. 部署完成后，在 ragstack-ui 目录创建 .env 文件，并将 VITE_SERVER_URL 环境变量设置为后端服务的访问地址。

项目路线图与致谢

发展路线图

RAGstack项目持续演进，以下为当前的功能支持与开发状态：

• ✅ GPT4all支持 (GPT4all support)
• ✅ Falcon-7b支持 (Falcon-7b support)
• ✅ GCP部署 (Deployment on GCP)
• ✅ AWS部署 (Deployment on AWS)
• ✅ Azure部署 (Deployment on Azure)
• 🚧 Llama-2-40b支持 (Llama-2-40b support) - 开发中

致谢

RAGstack中容器化Falcon 7B的代码源自Het Trivedi的教程仓库。您可以阅读他在Medium上关于如何将Falcon Docker化的文章以了解更多细节。感谢开源社区的贡献！

总结

RAGstack为企业提供了一个强大、灵活且注重隐私的解决方案，用于构建内部的智能问答系统。通过结合开源LLM、高效的向量数据库和现代化的云原生部署方式，它使得企业能够以可控的成本，安全地利用自身知识库赋能员工与客户。无论是从本地开发测试，还是扩展到GCP、AWS、Azure等主流云平台进行生产部署，RAGstack都提供了清晰的路径，是探索私有化RAG应用实践的优秀起点。

常见问题（FAQ）

RAGstack支持哪些开源大语言模型？

RAGstack支持Llama 2、Falcon和GPT4All等开源大语言模型，可根据本地或云端部署环境选择适合的模型。

RAGstack如何实现企业知识库问答？

通过集成Qdrant向量数据库，RAGstack能够检索组织知识库中的信息，并注入到LLM中生成回答，实现基于文档的对话式问答。

部署RAGstack需要什么硬件条件？

本地运行可使用消费级CPU运行GPT4All；云端部署需要GPU支持的GKE集群来运行Falcon-7B或Llama 2等模型。