开源 AI 可观测性、评估与优化平台

🚀 什么是 Opik？

Opik 帮助您构建、测试和优化运行更佳的生成式 AI（Generative AI）应用，从原型到生产。无论是 RAG 聊天机器人、代码助手还是复杂的智能体系统（Agentic System），Opik 都提供全面的追踪（Tracing）、评估（Evaluation）以及自动化的提示词（Prompt）和工具优化功能，让 AI 开发不再依赖猜测。

Opik（由 Comet 构建）是一个开源平台，旨在简化 LLM（Large Language Model，大语言模型）应用的整个生命周期。它使开发人员能够评估、测试、监控和优化他们的模型和智能体系统。核心功能包括：

• 全面的可观测性（Comprehensive Observability）：深度追踪 LLM 调用、对话日志和智能体活动。

• 高级评估（Advanced Evaluation）：强大的提示词评估、LLM 作为评判员（LLM-as-a-Judge）以及实验管理。

• 生产就绪（Production-Ready）：用于生产的可扩展监控仪表板和在线评估规则。

• Opik 智能体优化器（Opik Agent Optimizer）：专用的 SDK 和一系列优化器，用于增强提示词和智能体。

• Opik 护栏（Opik Guardrails）：帮助您实施安全、负责任的 AI 实践的功能。

关键能力

开发与追踪

• 在开发和生产环境中，追踪所有带有详细上下文的 LLM 调用和追踪记录（快速开始）。

• 广泛的第三方集成，便于可观测性：与不断增长的框架列表无缝集成，原生支持许多最大和最流行的框架（包括最近新增的 Google ADK、Autogen 和 Flowise AI）。（集成）

• 通过 Python SDK 或 UI 为追踪记录和跨度（Span）添加反馈分数注释。

• 在 提示词游乐场（Prompt Playground） 中试验提示词和模型。

评估与测试

• 使用 数据集（Datasets） 和 实验（Experiments） 自动化您的 LLM 应用评估。

• 利用强大的 LLM 作为评判员指标来处理复杂任务，如 幻觉检测（Hallucination Detection）、内容审核（Moderation） 和 RAG（Retrieval-Augmented Generation，检索增强生成）评估（答案相关性（Answer Relevance）、上下文精确度（Context Precision））。

• 通过我们的 PyTest 集成 将评估集成到您的 CI/CD 流水线中。

生产监控与优化

• 记录海量的生产环境追踪记录：Opik 为大规模设计（每天超过 4000 万条追踪记录）。

• 在 Opik 仪表板（Opik Dashboard） 中监控反馈分数、追踪记录数量和令牌（Token）使用量随时间的变化。

• 利用带有 LLM 作为评判员指标的 在线评估规则（Online Evaluation Rules） 来识别生产环境问题。

• 利用 Opik 智能体优化器 和 Opik 护栏 持续改进和保护您在生产环境中的 LLM 应用。

🛠️ Opik 服务器安装

在几分钟内启动您的 Opik 服务器。选择最适合您需求的选项：

选项 1：Comet.com 云服务（最简单且推荐）

无需任何设置即可立即访问 Opik。非常适合快速启动和无忧维护。

👉 创建您的免费 Comet 账户

选项 2：自行托管 Opik 以获得完全控制权

在您自己的环境中部署 Opik。选择 Docker 用于本地设置，或选择 Kubernetes 用于可扩展部署。

使用 Docker Compose 自行托管（用于本地开发与测试）

这是运行本地 Opik 实例的最简单方法。请注意新的 ./opik.sh 安装脚本：

在 Linux 或 Mac 环境下：

# 克隆 Opik 仓库
git clone https://github.com/comet-ml/opik.git

# 进入仓库目录
cd opik

# 启动 Opik 平台
./opik.sh

在 Windows 环境下：

# 克隆 Opik 仓库
git clone https://github.com/comet-ml/opik.git

# 进入仓库目录
cd opik

# 启动 Opik 平台
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

用于开发的服务配置文件

Opik 安装脚本现在支持针对不同开发场景的服务配置文件：

# 启动完整的 Opik 套件（默认行为）
./opik.sh

# 仅启动基础设施服务（数据库、缓存等）
./opik.sh --infra

# 启动基础设施 + 后端服务
./opik.sh --backend

# 在任何配置文件中启用护栏
./opik.sh --guardrails # 使用完整 Opik 套件启用护栏
./opik.sh --backend --guardrails # 使用基础设施 + 后端启用护栏

使用 --help 或 --info 选项来排查问题。Dockerfile 现在确保容器以非 root 用户身份运行，以增强安全性。一切启动并运行后，您现在可以在浏览器中访问 localhost:5173！有关详细说明，请参阅 本地部署指南。

使用 Kubernetes 与 Helm 自行托管（用于可扩展部署）

对于生产环境或更大规模的自行托管部署，Opik 可以使用我们的 Helm Chart 安装在 Kubernetes 集群上。点击徽章查看完整的 Kubernetes 部署指南。