LlamaFarm边缘AI平台如何实现本地RAG应用开发与隐私保护？

LlamaFarm 是一个完全在您本地硬件上运行的开源人工智能平台。您可以构建 RAG 应用、训练自定义分类器、检测异常以及运行文档处理——所有这些都在本地完成，确保数据的完全隐私。

LlamaFarm 是一个完全在您本地硬件上运行的开源人工智能平台。您可以构建 RAG 应用、训练自定义分类器、检测异常以及运行文档处理——所有这些都在本地完成，确保数据的完全隐私。

核心优势

LlamaFarm 的设计旨在将企业级 AI 能力带到您的本地设备上，无需依赖云端服务。

LlamaFarm is designed to bring enterprise-level AI capabilities to your local devices without relying on cloud services.

🔒 完全隐私 — 您的数据永远不会离开您的设备 (Complete Privacy — Your data never leaves your device)
💰 无 API 成本 — 使用开源模型，无需按 token 付费 (No API Costs — Use open-source models without per-token fees)
🌐 离线可用 — 模型下载后，无需互联网即可工作 (Offline Capable — Works without internet once models are downloaded)
⚡ 硬件优化 — 在 Apple Silicon、NVIDIA 和 AMD 硬件上自动启用 GPU/NPU 加速 (Hardware Optimized — Automatic GPU/NPU acceleration on Apple Silicon, NVIDIA, and AMD)

快速开始

您可以通过多种方式快速启动 LlamaFarm。

You can quickly get started with LlamaFarm in several ways.

选项一：桌面应用程序

下载适用于您操作系统的桌面应用程序，直接运行即可，无需额外设置。

Download the desktop application for your operating system and run it directly, no additional setup required.


平台	下载链接
Mac (Universal)	下载
Windows	下载
Linux (x86_64)	下载
Linux (ARM64)	下载

选项二：命令行界面

通过安装脚本快速安装 CLI 工具，并通过简单的命令初始化项目并启动服务。

Quickly install the CLI tool via the installation script, and initialize the project and start services with simple commands.

安装 CLI

macOS / Linux:

curl -fsSL https://raw.githubusercontent.com/llama-farm/llamafarm/main/install.sh | bash

Windows (PowerShell):

irm https://raw.githubusercontent.com/llama-farm/llamafarm/main/install.ps1 | iex

创建并运行项目

lf init my-project      # 生成 llamafarm.yaml 配置文件
lf start                # 启动所有服务并打开 Designer Web UI

与 AI 交互

lf chat                           # 进入交互式聊天模式
lf chat "Hello, LlamaFarm!"       # 发送单次消息

选项三：从源码开发

适合开发者，允许您从 GitHub 克隆源码，并在本地构建和运行所有服务。

Suitable for developers, allowing you to clone the source code from GitHub and build and run all services locally.

git clone https://github.com/llama-farm/llamafarm.git
cd llamafarm

# 全局安装 Nx 并初始化工作区
npm install -g nx
nx init --useDotNxInstallation --interactive=false  # 首次克隆时需要

# 启动所有服务（需要在不同的终端中运行）
nx start server           # FastAPI 服务器 (端口 14345)
nx start rag              # RAG 文档处理工作进程
nx start universal-runtime # ML 模型、OCR、嵌入服务 (端口 11540)

平台能力概览

LlamaFarm 集成了多种 AI 能力，支持构建多样化的本地智能应用。

LlamaFarm integrates various AI capabilities, supporting the construction of diverse local intelligent applications.


能力	描述
RAG (检索增强生成)	摄取 PDF、文档、CSV 文件，并使用 AI 进行查询
自定义分类器	使用 8-16 个示例通过 SetFit一种高效的少样本文本分类方法，仅需8-16个示例即可训练有效的分类器。训练文本分类器
异常检测	12+ 种算法，支持批量和流式异常检测
工具调用 (MCP)	通过 Model Context Protocol 将模型连接到外部工具
OCR 与文档提取	从图像和 PDF 中提取文本和结构化数据
命名实体识别	识别人名、组织名、地点等实体
多模型运行时	可在 Ollama、OpenAI、vLLM 或本地 GGUF 模型间切换

视频演示 (90 秒): https://youtu.be/W7MHGyN0MdQ

系统架构

LlamaFarm 采用微服务架构，由三个核心服务组成，所有配置均集中在 llamafarm.yaml 文件中。

LlamaFarm adopts a microservices architecture, consisting of three core services, with all configurations centralized in the llamafarm.yaml file.


服务	端口	用途
Server	14345	提供 FastAPI REST API、Designer Web UI 和项目管理功能
RAG Worker	-	Celery 工作进程，用于异步文档处理
Universal RuntimeLlamaFarm的推荐运行时，提供对HuggingFace模型和专用ML功能的访问，包括文本生成、嵌入、OCR等。	11540	ML 模型推理、嵌入、OCR、异常检测等核心 AI 功能

运行时选项对比

LlamaFarm 支持多种模型运行时，您可以根据需求灵活选择。

LlamaFarm supports multiple model runtimes, allowing you to choose flexibly based on your needs.


运行时类型	核心特点	适用场景	配置示例
Universal RuntimeLlamaFarm的推荐运行时，提供对HuggingFace模型和专用ML功能的访问，包括文本生成、嵌入、OCR等。 (推荐)	支持 HuggingFace 模型及 OCR、分类、异常检测等多样化 AI 任务	需要一站式本地 AI 解决方案	```yaml provider: universal model: Qwen/Qwen2.5-1.5B-Instruct base_url: http://127.0.0.1:11540/v1 ```
Ollama	简单易用，支持 GGUF 格式模型，提供 CPU/GPU 加速	专注于本地大语言模型推理	```yaml provider: ollama model: qwen3:8b base_url: http://localhost:11434/v1 ```
OpenAI 兼容	兼容 vLLM、Together AI、Mistral API 等任何 OpenAI 格式的 API 端点	希望连接外部或自托管的 API 服务	```yaml provider: openai model: gpt-4o base_url: https://api.openai.com/v1 api_key: ${OPENAI_API_KEY} ```

核心工作流与 CLI 命令

LlamaFarm 提供了强大的命令行工具来管理项目、数据和 AI 交互。

LlamaFarm provides powerful command-line tools for managing projects, data, and AI interactions.

常用 CLI 命令速查


任务	命令
初始化项目	`lf init my-project`
启动服务	`lf start`
交互式聊天	`lf chat`
单次查询	`lf chat "Your question"`
列出可用模型	`lf models list`
使用特定模型	`lf chat --model powerful "Question"`
创建数据集	`lf datasets create -s pdf_ingest -b main_db research`
上传文件（默认自动处理）	`lf datasets upload research ./docs/*.pdf`
手动处理数据集	`lf datasets process research`
查询 RAG 数据库	`lf rag query --database main_db "Your query"`
检查 RAG 服务健康状态	`lf rag health`

RAG 管道工作流

构建一个完整的 RAG 应用通常遵循以下步骤：

Building a complete RAG application typically follows these steps:

创建数据集：将其链接到处理策略和数据库。
上传文件：支持 PDF、DOCX、Markdown、TXT 等格式。默认会自动触发处理流程（大文件批处理时可使用 --no-process 跳过）。
（可选）手动处理：仅在明确跳过了自动处理时需要。
查询：使用语义搜索进行查询，并可结合元数据过滤。

# 示例：构建一个研究论文问答系统
lf datasets create -s default -b main_db research
lf datasets upload research ./papers/*.pdf                 # 默认自动处理
# 对于大批量文件：
# lf datasets upload research ./papers/*.pdf --no-process
# lf datasets process research
lf rag query --database main_db "What are the key findings?"

Designer Web UI

启动服务后，您可以通过浏览器访问 http://localhost:14345 使用 Designer Web UI，它提供了可视化的项目管理界面。

After starting the services, you can access the Designer Web UI via your browser at http://localhost:14345, which provides a visual project management interface.

项目管理：包含项目简报和快速操作。
可视化数据集管理：支持拖拽上传。
数据库与 RAG 配置：内置查询测试功能。
提示词工程：支持模板变量和测试。
交互式聊天：可切换 RAG 模式并显示检索到的上下文。
配置编辑器：提供语法高亮、验证和自动补全。
支持在任何部分在可视化设计器和原始 YAML 模式之间切换。

总结

LlamaFarm 通过其全本地化、隐私优先、多功能的特性，为开发者和企业提供了一个强大的边缘 AI 平台。无论是通过简单的桌面应用快速体验，还是通过 CLI 和源码进行深度定制开发，它都能满足不同层次的需求。其清晰的架构、灵活的运行时支持以及丰富的工具链（CLI + Web UI），使得构建和部署本地 AI 应用变得前所未有的便捷。

LlamaFarm provides a powerful edge AI platform for developers and enterprises through its fully localized, privacy-first, and versatile features. Whether quickly experiencing it through a simple desktop application or deeply customizing development via CLI and source code, it meets needs at different levels. Its clear architecture, flexible runtime support, and rich toolchain (CLI + Web UI) make building and deploying local AI applications unprecedentedly convenient.

常见问题（FAQ）

LlamaFarm如何保证我的数据隐私？

LlamaFarm完全在您的本地硬件上运行，所有数据处理都在设备内完成，数据永远不会离开您的设备，确保完全隐私保护。

使用LlamaFarm需要支付API费用吗？

不需要。LlamaFarm使用开源模型，无需按token付费，也没有任何API成本，所有功能都在本地免费运行。

如何快速开始使用LlamaFarm？

有三种方式：1) 下载桌面应用程序直接运行；2) 通过安装脚本使用命令行界面；3) 开发者可从GitHub克隆源码本地构建。

AI Summary (BLUF)