Open-source AI Observability, Evaluation, and Optimization

🚀 What is Opik?

Opik helps you build, test, and optimize generative AI applications that run better, from prototype to production. From RAG chatbots to code assistants to complex agentic systems, Opik provides comprehensive tracing, evaluation, and automatic prompt and tool optimization to take the guesswork out of AI development.

Opik 帮助您构建、测试和优化运行更佳的生成式 AI 应用，从原型到生产。无论是 RAG 聊天机器人、代码助手还是复杂的智能体系统，Opik 都提供全面的追踪、评估以及自动化的提示词和工具优化功能，让 AI 开发不再依赖猜测。

Opik (built by Comet) is an open-source platform designed to streamline the entire lifecycle of LLM applications. It empowers developers to evaluate, test, monitor, and optimize their models and agentic systems. Key offerings include:

Opik（由 Comet 构建）是一个开源平台，旨在简化 LLM 应用的整个生命周期。它使开发人员能够评估、测试、监控和优化他们的模型和智能体系统。核心功能包括：

• Comprehensive Observability: Deep tracing of LLM calls, conversation logging, and agent activity. (全面的可观测性：深度追踪 LLM 调用、对话日志和智能体活动。)

• Advanced Evaluation: Robust prompt evaluation, LLM-as-a-judge, and experiment management. (高级评估：强大的提示词评估、LLM 作为评判员以及实验管理。)

• Production-Ready: Scalable monitoring dashboards and online evaluation rules for production. (生产就绪：用于生产的可扩展监控仪表板和在线评估规则。)

• Opik Agent Optimizer: Dedicated SDK and set of optimizers to enhance prompts and agents. (Opik 智能体优化器：专用的 SDK 和一系列优化器，用于增强提示词和智能体。)

• Opik Guardrails: Features to help you implement safe and responsible AI practices. (Opik 护栏：帮助您实施安全、负责任的 AI 实践的功能。)

Key Capabilities

Development & Tracing

• Track all LLM calls and traces with detailed context during development and in production (Quickstart). (在开发和生产环境中，追踪所有带有详细上下文的 LLM 调用和追踪记录 (快速开始)。)

• Extensive 3rd-party integrations for easy observability: Seamlessly integrate with a growing list of frameworks, supporting many of the largest and most popular ones natively (including recent additions like Google ADK, Autogen, and Flowise AI). (Integrations) (广泛的第三方集成，便于可观测性：与不断增长的框架列表无缝集成，原生支持许多最大和最流行的框架（包括最近新增的 Google ADK、Autogen 和 Flowise AI）。 (集成))

• Annotate traces and spans with feedback scores via the Python SDK or the UI. (通过 Python SDK 或 UI 为追踪记录和跨度添加反馈分数注释。)

• Experiment with prompts and models in the Prompt Playground. (在 提示词游乐场 中试验提示词和模型。)

Evaluation & Testing

• Automate your LLM application evaluation with Datasets and Experiments. (使用 数据集 和 实验 自动化您的 LLM 应用评估。)

• Leverage powerful LLM-as-a-judge metrics for complex tasks like hallucination detection, moderation, and RAG assessment (Answer Relevance, Context Precision). (利用强大的 LLM 作为评判员指标来处理复杂任务，如 幻觉检测、内容审核 和 RAG 评估 (答案相关性、上下文精确度)。)

• Integrate evaluations into your CI/CD pipeline with our PyTest integration. (通过我们的 PyTest 集成 将评估集成到您的 CI/CD 流水线中。)

Production Monitoring & Optimization

• Log high volumes of production traces: Opik is designed for scale (40M+ traces/day). (记录海量的生产环境追踪记录：Opik 为大规模设计 (每天超过 4000 万条追踪记录)。)

• Monitor feedback scores, trace counts, and token usage over time in the Opik Dashboard. (在 Opik 仪表板 中监控反馈分数、追踪记录数量和令牌使用量随时间的变化。)

• Utilize Online Evaluation Rules with LLM-as-a-Judge metrics to identify production issues. (利用带有 LLM 作为评判员指标的 在线评估规则 来识别生产环境问题。)

• Leverage Opik Agent Optimizer and Opik Guardrails to continuously improve and secure your LLM applications in production. (利用 Opik 智能体优化器 和 Opik 护栏 持续改进和保护您在生产环境中的 LLM 应用。)

提示：如果您正在寻找 Opik 目前尚未提供的功能，请提交新的 功能请求 🚀

🛠️ Opik Server Installation

Get your Opik server running in minutes. Choose the option that best suits your needs:

在几分钟内启动您的 Opik 服务器。选择最适合您需求的选项：

Option 1: Comet.com Cloud (Easiest & Recommended)

Access Opik instantly without any setup. Ideal for quick starts and hassle-free maintenance.

无需任何设置即可立即访问 Opik。非常适合快速启动和无忧维护。

👉 Create your free Comet account

👉 创建您的免费 Comet 账户

Option 2: Self-Host Opik for Full Control

Deploy Opik in your own environment. Choose between Docker for local setups or KubernetesKubernetes是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序，适合大规模生产环境。 for scalability.

在您自己的环境中部署 Opik。选择 Docker 用于本地设置，或选择 KubernetesKubernetes是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序，适合大规模生产环境。 用于可扩展部署。

Self-Hosting with Docker Compose一个用于定义和运行多容器Docker应用程序的工具。在OpenClaw部署中，用于实现环境隔离、数据持久化与快速升级，是生产环境部署的首选方案。 (for Local Development & Testing)

This is the simplest way to get a local Opik instance running. Note the new ./opik.sh installation script:

这是运行本地 Opik 实例的最简单方法。请注意新的 ./opik.sh 安装脚本：

On Linux or Mac Environment:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
./opik.sh

On Windows Environment:

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

Service Profiles for Development

The Opik installation scripts now support service profiles for different development scenarios:

Opik 安装脚本现在支持针对不同开发场景的服务配置文件：

# Start full Opik suite (default behavior)
./opik.sh

# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra

# Start infrastructure + backend services
./opik.sh --backend

# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backend

Use the --help or --info options to troubleshoot issues. Dockerfiles now ensure containers run as non-root users for enhanced security. Once all is up and running, you can now visit localhost:5173 on your browser! For detailed instructions, see the Local Deployment Guide.

使用 --help 或 --info 选项来排查问题。Dockerfile 现在确保容器以非 root 用户身份运行，以增强安全性。一切启动并运行后，您现在可以在浏览器中访问 localhost:5173！有关详细说明，请参阅 本地部署指南。

Self-Hosting with KubernetesKubernetes是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序，适合大规模生产环境。 & HelmHelm是Kubernetes的包管理器，用于简化应用程序的部署和管理，通过图表定义应用程序的配置和依赖关系。 (for Scalable Deployments)

For production or larger-scale self-hosted deployments, Opik can be installed on a KubernetesKubernetes是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序，适合大规模生产环境。 cluster using our HelmHelm是Kubernetes的包管理器，用于简化应用程序的部署和管理，通过图表定义应用程序的配置和依赖关系。 chart. Click the badge for the full Kubernetes Installation Guide using Helm.

对于生产环境或更大规模的自托管部署，可以使用我们的 HelmHelm是Kubernetes的包管理器，用于简化应用程序的部署和管理，通过图表定义应用程序的配置和依赖关系。 chart 在 KubernetesKubernetes是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序，适合大规模生产环境。 集群上安装 Opik。点击徽章查看完整的 使用 Helm 的 Kubernetes 安装指南。

重要提示：版本 1.7.0 变更：请查看 更新日志 以了解重要的更新和破坏性变更。

💻 Opik Client SDK

Opik provides a suite of client libraries and a REST API to interact with the Opik server. This includes SDKs for Python, TypeScript, and Ruby (via OpenTelemetry), allowing for seamless integration into your workflows. For detailed API and SDK references, see the Opik Client Reference Documentation.

Opik 提供了一套客户端库和一个 REST API 来与 Opik 服务器交互。这包括用于 Python、TypeScript 和 Ruby（通过 OpenTelemetry）的 SDK，允许无缝集成到您的工作流中。有关详细的 API 和 SDK 参考，请参阅 Opik 客户端参考文档。

Python SDK Quick Start

To get started with the Python SDK:

要开始使用 Python SDK：

Install the package:

安装包：

# install using pip
pip install opik

# or install with uv
uv pip install opik

Configure the python SDK by running the opik configure command, which will prompt you for your Opik server address (for self-hosted instances) or your API key and workspace (for Comet.com):

通过运行 opik configure 命令来配置 Python SDK，该命令将提示您输入 Opik 服务器地址（对于自托管实例）或您的 API 密钥和工作区（对于 Comet.com）：

opik configure

提示：您也可以从 Python 代码中调用 opik.configure(use_local=True) 来配置 SDK 以在本地自托管安装上运行，或者直接提供 API 密钥和工作区详细信息以用于 Comet.com。有关更多配置选项，请参阅 Python SDK 文档。

You are now ready to start logging traces using the Python SDK.

您现在已准备好使用 Python SDK 开始记录追踪记录。

📝 Logging Traces with Integrations

The easiest way to log traces is to use one of our direct integrations. Opik supports a wide array of frameworks, including recent additions like Google ADK, Autogen, AG2, and Flowise AI:

记录追踪记录最简单的方法是使用我们的直接集成之一。Opik 支持广泛的框架，包括最近新增的 Google ADK、Autogen、AG2 和 Flowise AI：

常见问题（FAQ）

Opik平台主要能解决LLM应用开发中的哪些核心问题？

Opik提供从开发到生产的全链路解决方案，包括追踪LLM调用、自动化评估测试、生产监控以及自动优化提示词和智能体，帮助开发者系统化地构建和优化AI应用。

如何开始使用Opik进行LLM应用的评估和优化？

可通过两种方式：推荐使用Comet云服务快速上手，或选择自托管Opik Server获得完全控制权。安装后使用Python SDK集成，即可开始记录追踪和进行评估。

Opik在评估LLM应用时提供哪些高级功能？

支持自动化评估流程，包括使用数据集和实验管理，并提供LLM-as-a-judge指标用于幻觉检测、内容审核及RAG评估等复杂任务，确保应用质量。