Langfuse：开源 LLM 工程平台深度解析

引言

Langfuse 是一个开源的大型语言模型（LLM）工程平台（GitHub），旨在帮助团队协作调试、分析和迭代其 LLM 应用程序。该平台的所有功能均原生集成，以加速开发工作流程。Langfuse 具有开放性、可自托管和可扩展性（为什么选择 Langfuse？）。

Langfuse is an open-source LLM engineering platform (GitHub) designed to help teams collaboratively debug, analyze, and iterate on their LLM applications. All platform features are natively integrated to accelerate the development workflow. Langfuse is open, self-hostable, and extensible (why langfuse?).

核心功能概览

Langfuse 平台围绕四大核心支柱构建，为 LLM 应用的全生命周期提供支持。

可观测性系统提供内部状态和行为的可见性的能力，包括日志记录、指标监控和追踪功能，使开发人员能够理解和调试系统行为。

可观测性系统提供内部状态和行为的可见性的能力，包括日志记录、指标监控和追踪功能，使开发人员能够理解和调试系统行为。对于理解和调试 LLM 应用程序至关重要。与传统软件不同，LLM 应用程序涉及复杂、非确定性的交互，监控和调试颇具挑战。Langfuse 提供全面的追踪功能，帮助您精确了解应用程序的运行状况。

Observability is essential for understanding and debugging LLM applications. Unlike traditional software, LLM applications involve complex, non-deterministic interactions that can be challenging to monitor and debug. Langfuse provides comprehensive tracing capabilities that help you understand exactly what's happening in your application.

• 追踪所有调用：追踪记录包括所有 LLM 和非 LLM 调用，如检索、嵌入、API 调用等。
• 会话与用户追踪：支持将多轮对话作为会话进行追踪，并支持用户追踪。
• 智能体图表示：可以将智能体表示为图结构。
• 灵活的集成方式：可通过原生 Python/JS SDK、50+ 库/框架集成、OpenTelemetry一个开源的观测性框架，用于收集、处理和导出遥测数据（如指标、日志和追踪），RΞASON内置兼容此框架以实现可观测性。 或通过 LiteLLM 等 LLM 网关来捕获追踪数据。
• 基于开放标准：基于 OpenTelemetry一个开源的观测性框架，用于收集、处理和导出遥测数据（如指标、日志和追踪），RΞASON内置兼容此框架以实现可观测性。 构建，以提高兼容性并减少供应商锁定。

• Log All Calls: Traces include all LLM and non-LLM calls, including retrieval, embedding, API calls, and more.
• Session & User Tracking: Support for tracking multi-turn conversations as sessions and user tracking.
• Agent Graph Representation: Agents can be represented as graphs.
• Flexible Integration: Capture traces via our native SDKs for Python/JS, 50+ library/framework integrations, OpenTelemetry一个开源的观测性框架，用于收集、处理和导出遥测数据（如指标、日志和追踪），RΞASON内置兼容此框架以实现可观测性。, or via an LLM Gateway such as LiteLLM.
• Open Standards Based: Based on OpenTelemetry一个开源的观测性框架，用于收集、处理和导出遥测数据（如指标、日志和追踪），RΞASON内置兼容此框架以实现可观测性。 to increase compatibility and reduce vendor lock-in.

想查看示例？请尝试 交互式演示。

Want to see an example? Play with the interactive demo.

提示词管理在整个开发生命周期中管理、版本控制和优化提示词的工具，支持在LLM Playground中交互式测试提示词。

在构建高效的 LLM 应用程序时，提示词管理在整个开发生命周期中管理、版本控制和优化提示词的工具，支持在LLM Playground中交互式测试提示词。至关重要。Langfuse 提供工具，帮助您在开发生命周期中管理、版本控制和优化提示词。

Prompt Management is critical in building effective LLM applications. Langfuse provides tools to help you manage, version, and optimize your prompts throughout the development lifecycle.

• 快速上手：开始使用提示词管理在整个开发生命周期中管理、版本控制和优化提示词的工具，支持在LLM Playground中交互式测试提示词。。
• 全生命周期管理：在开发生命周期中管理、版本控制和优化您的提示词。
• 交互式测试：在 LLM 游乐场 中交互式测试提示词。
• 运行实验：针对数据集运行 实验，直接在 Langfuse 中测试新的提示词版本。

• Get Started: Get started with prompt management.
• Lifecycle Management: Manage, version, and optimize your prompts throughout the development lifecycle.
• Interactive Testing: Test prompts interactively in the LLM Playground.
• Run Experiments: Run Experiments against datasets to test new prompt versions directly within Langfuse.

评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。

评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。对于确保 LLM 应用程序的质量和可靠性至关重要。Langfuse 提供灵活的评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。工具，可根据您的具体需求进行调整，无论是在开发中进行测试还是监控生产环境性能。

Evaluation is crucial for ensuring the quality and reliability of your LLM applications. Langfuse provides flexible evaluation tools that adapt to your specific needs, whether you're testing in development or monitoring production performance.

• 多种评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。方法：开始使用不同的 评估方法：LLM 作为评判者、用户反馈、手动标注或自定义方法。
• 早期问题识别：对生产环境追踪记录运行评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。，及早发现问题。
• 数据集管理：创建和管理 数据集，用于开发中的系统性测试，确保您的应用程序在不同场景下可靠运行。
• 系统性实验：运行 实验，系统性地测试您的 LLM 应用程序。

• Multiple Evaluation Methods: Get started with different evaluation methods: LLM-as-a-judge, user feedback, manual labeling, or custom.
• Early Issue Identification: Identify issues early by running evaluations on production traces.
• Dataset Management: Create and manage Datasets for systematic testing in development that ensure your application performs reliably across different scenarios.
• Systematic Experiments: Run Experiments to systematically test your LLM application.

平台特性

Langfuse 平台本身设计精良，具备企业级应用所需的关键特性。

The Langfuse platform itself is well-designed with key features required for enterprise-grade applications.

• API 优先架构：所有功能均可通过 API 访问，便于自动化与集成。
• 数据导出：支持将数据导出到 Blob 存储，便于进行自定义分析和长期归档。
• 企业级安全与管理：提供企业级的安全功能和管理控制台。

• API-first Architecture: All features are accessible via APIs, facilitating automation and integration.
• Data Export: Supports exporting data to blob storage for custom analysis and long-term archiving.
• Enterprise Security & Administration: Provides enterprise-grade security features and an administration console.

从概念验证到生产的简化生命周期

建立完整的在线追踪、提示词管理在整个开发生命周期中管理、版本控制和优化提示词的工具，支持在LLM Playground中交互式测试提示词。、生产环境评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。以发现问题、以及对数据集进行离线评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。的流程需要一些时间。本指南旨在帮助您确定对您的用例最重要的部分。

Setting up the full process of online tracing, prompt management, production evaluations to identify issues, and offline evaluations on datasets requires some time. This guide is meant to help you figure out what is most important for your use case.

简化版从概念验证到生产的生命周期：

Simplified lifecycle from PoC to production:

1. 概念验证：使用 Langfuse 追踪记录您的 LLM 调用，以了解成本、延迟和内部运作。
2. 开发：在游乐场中管理提示词版本，并针对数据集运行实验以进行迭代。
3. 生产：监控生产环境中的应用程序运行状况，并通过评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。追踪记录来识别问题。

1. Proof of Concept: Use Langfuse to trace your LLM calls to understand cost, latency, and internals.
2. Development: Manage prompt versions in the playground and run experiments against datasets to iterate.
3. Production: Monitor your application health in production and identify issues by evaluating traces.

快速入门与核心优势

快速开始

几分钟内即可启动并运行 Langfuse。选择最适合您当前需求的路径：

Get up and running with Langfuse in minutes. Choose the path that best fits your current needs:

核心优势对比

Langfuse 集成了多种特性，使其在 LLM 工程平台中脱颖而出。

Langfuse integrates a variety of features that make it stand out among LLM engineering platforms.

社区与未来发展

我们与社区一起在 开源 中积极开发 Langfuse：

We actively develop Langfuse in open source together with our community:

• 参与路线图：贡献并为 Langfuse 路线图 投票。
• 获取支持：在 GitHub Discussions 或私密 支持渠道 提问。
• 报告问题：通过 GitHub Issues 报告错误。
• 社区交流：在 Discord 上与社区聊天。
• 了解动机：为什么人们选择 Langfuse？

• Contribute to Roadmap: Contribute and vote on the Langfuse roadmap.
• Get Support: Ask questions on GitHub Discussions or private support channels.
• Report Issues: Report bugs via GitHub Issues.
• Community Chat: Chat with the community on Discord.
• Learn Motivations: Why people choose Langfuse?

Langfuse 发展迅速，请查看 更新日志 了解最新动态。订阅 邮件列表 以获取重大新功能通知。

Langfuse evolves quickly, check out the changelog for the latest updates. Subscribe to the mailing list to get notified about new major features.

常见问题（FAQ）

Langfuse如何帮助监控和调试复杂的LLM应用？

Langfuse提供全面的可观测性系统提供内部状态和行为的可见性的能力，包括日志记录、指标监控和追踪功能，使开发人员能够理解和调试系统行为。功能，包括追踪所有LLM和非LLM调用、会话与用户追踪、智能体图表示，帮助开发者精确了解应用运行状况，解决非确定性交互的调试挑战。

在Langfuse中如何管理和优化提示词？

Langfuse提供完整的提示词管理在整个开发生命周期中管理、版本控制和优化提示词的工具，支持在LLM Playground中交互式测试提示词。工具，支持在开发生命周期中进行版本控制、优化，并可在LLM游乐场交互式测试提示词，还能针对数据集运行实验来测试新版本。

Langfuse支持哪些评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。方法来确保LLM应用质量？

Langfuse提供多种评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。方法，包括LLM作为评判者、用户反馈、手动标注和自定义方法，支持对生产环境追踪记录进行评估评估是自动化测试，使用模型分级和基于规则的统计方法评估LLM输出，返回0-1之间的标准化分数，可自定义提示和评分函数。，并能创建数据集进行系统性测试和实验。