LangChain DeepAgentsLangChain框架中的深度智能体库，内置任务规划、内存虚拟文件系统、子智能体生成等能力，适合作为Harness Engineering的载体。与Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。：多智能体编码系统的可靠性评估与实践指南

引言

作为长期在企业一线与高校实验室之间穿梭的研究者，我经常被问到同一个问题：为什么强大的大模型（LLM）在演示时惊艳四座，一放进生产环境就变得难以驾驭？成本、延迟、随机性——这些“最后一公里”的障碍让许多AI项目止步于概念验证。我们在为一个客户设计智能理赔助手时，也撞上了这堵墙。当时我们尝试用单一模型处理所有案件，结果不仅API账单飙升，客户投诉率也居高不下。正是这次痛苦的经历，催生了对“Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。”的系统性探索。

As a researcher who frequently navigates between enterprise frontlines and academic labs, I am often asked the same question: why do powerful large language models (LLMs) dazzle in demos but become difficult to manage once deployed in production environments? Cost, latency, and randomness—these "last-mile" obstacles cause many AI projects to stall at the proof-of-concept stage. We hit this wall ourselves while designing an intelligent claims assistant for a client. Our initial attempt to use a single model for all cases not only skyrocketed API bills but also led to persistently high customer complaint rates. This painful experience catalyzed a systematic exploration of "Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。."

本文将分享基于过往客户咨询项目的技术沉淀，内容已通过实际业务校验。我们将从“给模型套上缰绳”的理念出发，先介绍如何用LangChain的DeepAgents构建一个编码智能体，并通过HumanEval基准包含164个手写Python编程问题的评估基准，用于评估代码生成的正确性，主要关注Pass@1（首次通过率）和Pass@k（多轮通过率）指标。和Pass@1/Pass@k指标量化它的可靠性；接着引入Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。——一个让多个智能体像交响乐团般协作的编排框架，并展示两个真实场景：全栈应用自动生成与多源研究报告撰写。

This article shares technical insights derived from past client consulting projects, validated through real-world business applications. We will start from the concept of "harnessing the model," first introducing how to build a coding agent using LangChain's DeepAgents and quantify its reliability through the HumanEval benchmark and Pass@1/Pass@k metrics. Then, we will introduce Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。—an orchestration framework that enables multiple agents to collaborate like a symphony orchestra—and demonstrate two real-world scenarios: full-stack application auto-generation and multi-source research report writing.

Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。：为AI系统套上“缰绳”

Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。的核心思想并非更换模型，而是在模型周围构建一个结构化的控制系统——包括系统提示词、工具/API、测试环境和中间件——从而引导模型输出，提升任务成功率并控制成本。这就像给一匹烈马套上缰绳，不改变它的奔跑能力，但让它按骑手的方向前进。

The core idea of Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。 is not to replace the model, but to build a structured control system around it—including system prompts, tools/APIs, testing environments, and middleware—to guide the model's output, improve task success rates, and control costs. This is akin to putting a harness on a spirited horse: it doesn't alter its ability to run but directs it according to the rider's intent.

本文使用LangChain的DeepAgents库来实现这一理念。DeepAgents内置了任务规划、内存虚拟文件系统、子智能体生成等能力，天然适合作为Harness的载体。

This article utilizes LangChain's DeepAgents library to implement this concept. DeepAgents comes with built-in capabilities such as task planning, in-memory virtual file systems, and sub-agent generation, making it a natural fit as the carrier for the "harness."

评估指标：Pass@1与Pass@kHumanEval基准的两个核心评估指标。Pass@1指模型一次尝试解决问题的百分比，代表用户体验；Pass@k指模型生成k个样本中至少有一个正确的概率，用于衡量模型的探索能力。

我们选用HumanEval基准——包含164个手写Python编程问题，用于评估代码生成的正确性。主要关注两个指标：

We selected the HumanEval benchmark—comprising 164 handwritten Python programming problems—to evaluate the correctness of code generation. We primarily focus on two metrics:

• Pass@1（首次通过率）：模型一次尝试解决问题的百分比。这是生产系统最关心的指标，代表用户体验。

  Pass@1 (First-Attempt Pass Rate): The percentage of problems the model solves correctly on its first attempt. This is the most critical metric for production systems, representing user experience.

• Pass@k（多轮通过率）：模型生成k个样本中至少有一个正确的概率，用于衡量模型的探索能力。

  Pass@k (Multi-Attempt Pass Rate): The probability that at least one of k generated samples is correct, used to measure the model's exploration capability.

构建第一个编码智能体

环境准备与配置

首先，需要准备必要的API密钥并安装依赖库。

First, you need to prepare the necessary API keys and install the dependency libraries.

1. 获取API密钥：登录LangSmith控制台生成追踪API密钥，并获取OpenAI API密钥。本文使用gpt-5-mini模型。

   Obtain API Keys: Log in to the LangSmith console to generate a tracing API key, and obtain an OpenAI API key. This article uses the gpt-5-mini model.

2. 环境安装：克隆HumanEval评测库并安装DeepAgents等必要包。

   Environment Installation: Clone the HumanEval evaluation repository and install necessary packages like DeepAgents.

   # 克隆HumanEval评测库并安装（移除自动执行脚本，避免误运行）
   !git clone https://github.com/openai/human-eval.git
   !sed -i '/evaluate_functional_correctness/d' human-eval/setup.py
   !pip install -qU ./human-eval deepagents langchain-openai
   

3. 初始化环境变量：配置LangSmith一个用于追踪、调试和评估智能体执行链路的工具，可通过设置环境变量和 API Key 实现可视化观测。追踪和模型API密钥。

   Initialize Environment Variables: Configure LangSmith一个用于追踪、调试和评估智能体执行链路的工具，可通过设置环境变量和 API Key 实现可视化观测。 tracing and model API keys.

   import os
   from google.colab import userdata
   # 配置LangSmith追踪
   os.environ['LANGCHAIN_TRACING_V2'] = 'true'
   os.environ['LANGSMITH_API_KEY']    = userdata.get('LANGSMITH_API_KEY')
   os.environ['LANGSMITH_PROJECT']    = 'DeepAgentProject'
   os.environ['OPENAI_API_KEY']       = userdata.get('OPENAI_API_KEY')
   

定义并管理提示词模板

我们将不同风格的提示词模板（如基础版、思维链版）存储到LangSmith一个用于追踪、调试和评估智能体执行链路的工具，可通过设置环境变量和 API Key 实现可视化观测。平台，便于版本管理和迭代。

We store different styles of prompt templates (e.g., basic, chain-of-thought) on the LangSmith一个用于追踪、调试和评估智能体执行链路的工具，可通过设置环境变量和 API Key 实现可视化观测。 platform for easy version management and iteration.

创建并评估智能体

1. 创建智能体：使用从LangSmith一个用于追踪、调试和评估智能体执行链路的工具，可通过设置环境变量和 API Key 实现可视化观测。拉取的提示词模板和初始化的语言模型构建DeepAgent。

   Create Agent: Construct a DeepAgent using the prompt template pulled from LangSmith一个用于追踪、调试和评估智能体执行链路的工具，可通过设置环境变量和 API Key 实现可视化观测。 and the initialized language model.

   from deepagents import create_deep_agent
   from langchain.chat_models import init_chat_model
   SELECTED_PROMPT = "coding-agent-v1"
   # ... (拉取提示词)
   llm_model = init_chat_model("openai:gpt-5-mini")
   coding_agent = create_deep_agent(
       model=llm_model,
       system_prompt=system_message,
   )
   

2. 加载测试集与评估：加载HumanEval问题，让智能体生成代码，并通过测试用例检查正确性，同时记录延迟。

   Load Test Set and Evaluate: Load HumanEval problems, have the agent generate code, check correctness via test cases, and record latency.

3. 结果分析：在小规模测试（如前5个问题）上，可以快速得到首次通过率（Pass@1）和平均延迟，并通过LangSmith一个用于追踪、调试和评估智能体执行链路的工具，可通过设置环境变量和 API Key 实现可视化观测。追踪详细成本。

   Result Analysis: On a small-scale test (e.g., the first 5 problems), you can quickly obtain the first-attempt pass rate (Pass@1) and average latency, and track detailed costs via LangSmith一个用于追踪、调试和评估智能体执行链路的工具，可通过设置环境变量和 API Key 实现可视化观测。.

引入中间件提升可靠性

为了进一步提升可靠性，可以引入“思维链”提示词并添加中间件。中间件可以限制模型的最大调用次数，防止智能体在失败场景下陷入无限循环，这是Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。中系统级约束的体现。

To further enhance reliability, you can introduce "chain-of-thought" prompts and add middleware. Middleware can limit the maximum number of model calls, preventing the agent from falling into infinite loops in failure scenarios. This embodies the system-level constraints in Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。.

初步结果表明，优化后的提示词结合中间件约束，能在控制成本的同时，可能提升任务的稳定通过率。

Preliminary results indicate that optimized prompts combined with middleware constraints can potentially improve the stable pass rate of tasks while controlling costs.

从单智能体到多智能体协作：Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。框架

当任务复杂度超出单个智能体的能力范围时，我们需要多智能体编排框架。Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。是一个开源框架，它基于“女王/工人”模型：一个协调者（女王）将任务拆解，分配给多个专门化的工人智能体，通过共享内存协作，最终汇总成果。

When task complexity exceeds the capability of a single agent, we need a multi-agent orchestration framework. Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。 is an open-source framework based on the "queen/worker" model: a coordinator (queen) decomposes tasks and assigns them to multiple specialized worker agents, which collaborate via shared memory and finally aggregate the results.

工作原理与配置

1. 工作原理：用户提交任务后，协调智能体将其分解为子任务，分配给不同的专家智能体（如研究员、编码员、分析师）。这些智能体可并行工作，结果存入共享内存。协调者监控进度、解决冲突，并合成最终输出。

   How It Works: After a user submits a task, the coordinator agent decomposes it into subtasks and assigns them to different expert agents (e.g., researcher, coder, analyst). These agents can work in parallel, storing results in shared memory. The coordinator monitors progress, resolves conflicts, and synthesizes the final output.

2. 安装与配置：确保Node.js环境，全局安装Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。并初始化项目。

   Installation and Configuration: Ensure a Node.js environment, install Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。 globally, and initialize the project.

   npm install -g claude-flow@alpha
   mkdir task-app && cd task-app
   npx claude-flow@alpha init --force
   claude-flow init --start-all # 启动后台服务
   

应用案例一：全栈应用自动生成

我们可以让Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。生成一个具备React前端、Express后端、SQLite数据库和JWT认证的任务管理Web应用。通过一条指令，系统会自动创建并协调前端、后端、数据库等专家智能体并行工作，在几分钟内输出完整的项目代码，将原本需要数周的工作极大压缩。

We can instruct Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。 to generate a task management web application with a React frontend, Express backend, SQLite database, and JWT authentication. With a single command, the system automatically creates and coordinates expert agents for frontend, backend, database, etc., to work in parallel, outputting complete project code within minutes, drastically compressing work that originally took weeks.

应用案例二：多源研究报告生成

对于需要综合分析多个AI编排框架（如Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。、LangChain、AutoGen、CrewAI）的竞争分析报告，Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。可以启动多个研究智能体。这些智能体并行搜索最新文档、阅读代码库，最后由合成智能体整合成一份结构清晰的报告，将数小时的研究工作缩短至数分钟。

For a competitive analysis report requiring comprehensive comparison of multiple AI orchestration frameworks (e.g., Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。, LangChain, AutoGen, CrewAI), Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。 can launch multiple research agents. These agents concurrently search for the latest documentation and read code repositories, with a synthesis agent finally integrating the information into a well-structured report, reducing hours of research work to minutes.

系统对比与总结

维度	优势	劣势/挑战
性能	多智能体并行，大幅缩短任务完成时间	增加API调用次数，可能推高成本
输出质量	专家智能体专注特定领域，结果更精准	LLM的非确定性可能导致输出波动
可扩展性	可通过增加智能体轻松扩展至企业级工作流	大型集群需精细调优以平衡成本与性能
系统设计	任务分解减轻单模型上下文负担	问题可能跨多个智能体，调试难度增加

Dimension	Advantages	Disadvantages/Challenges
Performance	Multi-agent parallelism significantly reduces task completion time	Increased API calls may raise costs
Output Quality	Expert agents focus on specific domains, yielding more precise results	LLM non-determinism can cause output variability
Scalability	Easily scalable to enterprise workflows by adding agents	Large clusters require fine-tuning to balance cost and performance
System Design	Task decomposition reduces context burden on a single model	Problems spanning multiple agents increase debugging difficulty

结论

Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。与多智能体编排共同构成了构建可靠、实用AI系统的双引擎。前者通过对模型输入输出的系统性控制，提升了单一智能体的稳定性和可观测性；后者则通过分工协作，突破了单智能体的能力天花板。本文通过编码智能体的构建与评估，展示了Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。的实际操作；通过Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。的应用案例，展示了多智能体协作如何将复杂任务的开发时间从数周缩短至数分钟。随着这些框架的不断成熟，我们有望像组装乐高积木一样，快速构建出适应各种复杂业务场景的智能体系统。

Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。 and multi-agent orchestration together form the dual engines for building reliable and practical AI systems. The former improves the stability and observability of a single agent through systematic control of model inputs and outputs; the latter breaks through the capability ceiling of a single agent via division of labor and collaboration. This article demonstrated the practical application of Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。 through the construction and evaluation of a coding agent. Through the Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。 use cases, it showed how multi-agent collaboration can reduce the development time for complex tasks from weeks to minutes. As these frameworks mature, we can look forward to rapidly assembling agent systems tailored to various complex business scenarios, much like building with Lego bricks.

---

本文基于技术实践分享，相关完整代码与数据已发布于技术社区。文中提及的API密钥等敏感信息请读者根据自身账户配置。

This article is based on technical practice sharing. The complete code and data have been published in a technical community. Readers should configure sensitive information like API keys according to their own accounts.

常见问题（FAQ）

什么是Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。？它如何解决AI生产环境中的问题？

Harness Engineering一种在AI模型周围构建结构化控制系统的工程方法论，通过系统提示词、工具/API、测试环境和中间件来引导模型输出，提升任务成功率并控制成本。是一种在AI模型周围构建结构化控制系统的理念，包括系统提示词、工具、测试环境和中间件。它旨在引导模型输出，提升任务成功率并控制成本，解决模型在生产环境中难以驾驭、成本高和随机性大的问题。

如何评估LangChain DeepAgentsLangChain框架中的深度智能体库，内置任务规划、内存虚拟文件系统、子智能体生成等能力，适合作为Harness Engineering的载体。编码智能体的可靠性？

使用HumanEval基准包含164个手写Python编程问题的评估基准，用于评估代码生成的正确性，主要关注Pass@1（首次通过率）和Pass@k（多轮通过率）指标。（包含164个Python编程问题）进行评估。主要关注两个指标：Pass@1（首次通过率，代表用户体验）和Pass@k（多轮通过率，衡量模型探索能力），以此量化智能体的代码生成正确性。

Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。在多智能体系统中起什么作用？

Claude Flow一个开源的多智能体编排框架，采用“女王/工人”模型，允许多个Claude智能体通过共享内存、分工协作完成复杂任务。是一个编排框架，能让多个智能体像交响乐团般协作。它用于协调复杂任务，例如全栈应用自动生成和多源研究报告撰写，实现多智能体的高效协同工作。