如何用OpenLIT一行代码为AI开发实现全栈可观测性并支持LLM、向量数据库和GPU成本追踪？2026年方案

Introduction

OpenLIT 能够简化你的 AI 开发工作流，尤其适用于生成式 AI 和大语言模型（LLM）。它优化了诸如使用 LLM 进行实验、组织和版本化管理提示词以及安全处理 API 密钥等关键任务。仅需一行代码，你便可开启基于 OpenTelemetry 的原生可观测性，提供涵盖 LLM、向量数据库和 GPU 的全栈监控。这让开发者能够自信地构建 AI 功能和应用程序，并平稳地从测试过渡到生产。

该项目自豪地遵循并维护着与 OpenTelemetry 社区一致的语义约定，并持续更新以符合可观测性领域的最新标准。

---

Core Features

OpenLIT 提供了一整套专为现代 AI 应用程序可观测性和管理而设计的功能。下表将核心能力映射到具体的使用场景及支持的 SDK。

---

Architecture Overview

以下流程图展示了 OpenLIT 生态系统中的核心数据流向。

flowchart TB;
    subgraph " "
        direction LR;
        subgraph " "
            direction LR;
            OpenLIT_SDK[OpenLIT SDK] -->|Sends Traces & Metrics| OTC[OpenTelemetry Collector];
            OTC -->|Stores Data| ClickHouseDB[ClickHouse];
        end
        subgraph " "
            direction RL;
            OpenLIT_UI[OpenLIT] -->|Pulls Data| ClickHouseDB;
        end
    end

SDK 将遥测数据发送至 OpenTelemetry Collector，再由 Collector 将数据存储至 ClickHouse。OpenLIT UI 从 ClickHouse 拉取数据以进行可视化和分析。

---

Getting Started with LLM Observability

Step 1: Deploy the OpenLIT Stack

1. Clone the Repository

克隆仓库

```bash
git clone git@github.com:openlit/openlit.git
```

2. Self-Host Using Docker

使用 Docker 自行托管

Deploy and run OpenLIT with:

```bash
docker compose up -d
```

Note: For Kubernetes installation using Helm, refer to the Kubernetes Helm installation guide.

注意：如需在 Kubernetes 中使用 Helm 进行安装，请参阅 Kubernetes Helm 安装指南。

Step 2: Install the OpenLIT SDK

打开命令行或终端并运行：

pip install openlit

Note: For TypeScript SDK usage, visit the TypeScript SDK Installation guide.

注意：如需使用 TypeScript SDK，请访问 TypeScript SDK 安装指南。

Step 3: Initialize OpenLIT in Your Application

将以下代码行添加至你的 AI 应用程序中，以集成 OpenLIT。

import openlit

openlit.init()

使用以下参数配置遥测数据的目标地址：

💡 Info: If otlp_endpoint or OTEL_EXPORTER_OTLP_ENDPOINT is not provided, the SDK outputs traces directly to the console—recommended during development.

💡 信息：如果未提供 otlp_endpoint 或 OTEL_EXPORTER_OTLP_ENDPOINT，SDK 将直接将链路追踪信息输出至控制台——推荐在开发阶段使用。

Example: Initialize Using Function Arguments

示例：使用函数参数进行初始化

import openlit

openlit.init(
  otlp_endpoint="http://127.0.0.1:4318",
)

Example: Initialize Using Environment Variables

示例：使用环境变量进行初始化

import openlit

openlit.init()

然后通过环境变量配置 OTLP 端点：

export OTEL_EXPORTER_OTLP_ENDPOINT = "http://127.0.0.1:4318"

Step 4: Visualize and Optimize

随着可观测性数据被收集并发送至 OpenLIT，下一步是可视化和分析这些数据。在浏览器中访问 127.0.0.1:3000 以进入 OpenLIT UI，使用以下默认凭据登录：

• Email: user@openlit.io
• Password: openlituser

---

Supported Integrations

OpenLIT 通过单行代码自动检测 50 多个 LLM 提供商、AI 框架和向量数据库。每次集成都会生成基于 OpenTelemetry 原生标准的链路追踪和指标。

常见问题（FAQ）

如何在应用中快速集成OpenLIT进行LLM可观测性？

只需一行代码安装OpenLIT SDK并初始化，即可自动发送OpenTelemetry原生遥测数据，实现LLM、向量数据库和GPU的监控。

OpenLIT支持哪些监控功能？

支持核心指标监控、成本追踪、内置11种评估（如幻觉、偏见）、异常仪表板、提示管理和秘密管理等。

OpenLIT的架构和数据流是怎样的？