顺序对了不等于依赖成立:用 AgentInspect 拆解 AI 搜索的检索与生成时序

2026/11/19

AI Summary (BLUF)

这篇文章教你用AgentInspect工具测试AI搜索中检索和生成的执行顺序,区分“开始顺序”、“完成顺序”和“数据流依赖”。通过可控的Promise和TraceContract,你可以精确验证生成是否真的等待了检索结果,避免误判。

核心洞察

这篇文章最有意思的地方,是它把“顺序对了”这件事拆成了三层:谁先被碰到、谁先跑完、谁的结果真的被用了。我们平时看 trace 图觉得一切正常,很可能只是第一层过了,后面两层根本没测。作者用可控的 promise 把竞态固定住,这个手法值得学。


trace 从检索开始,生成显示在它下面,顺序检查通过了。

但生成其实在检索还没跑完的时候就开始了。

“A 出现在 B 之前”说的是事件被记录到的先后。“A 的结果在 B 开始前就绪”说的是执行依赖。“B 确实消费了 A 的结果”是更强的数据流断言。这三句话不是一回事。

我是 AgentInspect 的维护者。这篇文章用可控 promise 和 agent-inspect@6.31.35 来验证这几个区别。测试夹具不调用模型、搜索引擎或向量数据库。

核心结论

  1. “顺序正确”需区分三个层次:事件被记录到的先后(first-occurrence)、执行依赖是否就绪(happens-before)、下游是否真正消费了上游结果(数据流断言),三者并非一回事,仅通过第一层检查不代表后两层成立。

  2. 在 agent-inspect@6.31.35 的重叠夹具实测中:first-occurrence 模式通过,而 happens-before 和 all-occurrences 模式均失败,说明生成在检索结果就绪前就已开始,仅凭开始顺序不足以验证依赖关系。

  3. all-occurrences 是全局边界而非自动配对算法:在“检索→生成→再检索→再生成”的合法两轮交互中,该规则会错误拒绝整个工作流,应通过独立 run 或应用层显式关联来重新建模作用域。

  4. 修复应发生在应用层依赖而非测试层:正向对照通过先 await 检索完成再调用生成来通过 all-occurrences 关系;对真实模型调用而言,完成不等于消费,需在应用层记录并比较有界的结果引用。

  5. 顺序规则存在已知诊断缺口:在 6.31.35 上,一个生成提前开始且永不结束的夹具单独跑 all-occurrences 顺序规则会通过,只有带完成检查的完整契约才能通过 run.status 捕获失败,不应将仅查顺序的闸门当作完整诊断。

把竞态做成确定性的

别搞那种依赖慢网络的演示。把检索挂起,等测试显式放行:

import { inspectRun, step } from "agent-inspect";

await inspectRun("overlapping-retrieval", async () => {
  let release;
  const ready = new Promise(resolve => { release = resolve; });

  const lookup = step.tool("retrieve_policy", () => ready);

  await step("generate_answer", async () => "synthetic answer", {
    type: "llm",
  });

  release({ policyId: "fixture-policy" });
  await lookup;
}, { traceDir: ".agent-inspect", silent: true });

这里的 type: "llm" 只是给一个被插桩的边界打标签。它不会把回调变成模型调用,也不会捕获隐藏的推理过程。回调返回的是固定字符串。

检索在生成之前被调用,但结果要等生成结束后才能就绪。夹具把这种关系编码进去,不用去猜一个毫秒级延迟。

当第二个操作依赖第一个结果时,仅凭开始顺序是不够的。

在工具步骤和模型步骤之间用类型化关系

用 agent-inspect/readers 里的 openTraceFile 打开生成的文件后,评估这个关系:

import {
  defineTraceContract,
  evaluateTraceContractRead,
} from "agent-inspect/checks";

const contract = defineTraceContract({
  run: { requireCompleted: true },
  steps: {
    orderRelations: [{
      before: { kind: "TOOL", name: "retrieve_policy" },
      after: { kind: "LLM", name: "generate_answer" },
      mode: "happens-before",
      requireEndpoints: true,
    }],
  },
});

const result = evaluateTraceContractRead(trace, contract);

这里要用类型化关系,因为它跨了 TOOL 到 LLM 的边界。tools.requiredOrder 只针对工具,不是任意工作流节点的通用列表。

TraceContract 还是 beta,steps.orderRelations 在这个版本里明确标注为实验性。锁好版本号,把你真正想依赖的语义测一遍。

重叠夹具的实测结果:

模式 结果 测的是什么
first-occurrence 通过 第一个匹配的检索是不是最先被碰到?
happens-before 失败 第一个匹配的检索是不是在生成开始前跑完了?
all-occurrences 失败 所有匹配的检索是不是都在任何匹配的生成开始前跑完了?

即使 first-occurrence 顺序通过,重叠也可能产生诊断信息。要看 findings 和 warnings,别只看顶层标签。

更强不等于更正确

all-occurrences 是一个全局边界,不是自动配对算法。

想一个合法的两轮交互:检索、生成、再检索、再生成。要求所有检索都在所有生成之前,这条规则会把这种工作流拒掉,哪怕每个回答都等到了自己的检索结果。

这不是把规则放松到能通过的理由。这是重新建模作用域的理由。用独立的 run,或者在应用层显式关联每个回答和它的检索结果。别假设名字匹配就意味着成对依赖。

同样,requireEndpoints: true 很重要。当必要的端点缺失时,一条顺序断言不该悄悄满足你的产品要求。

先修应用层的依赖

对应的正向对照是先等检索完成再调用生成:

const policy = await step.tool("retrieve_policy", async () => ({
  policyId: "fixture-policy",
}));

await step("generate_answer", async () => policy.policyId, {
  type: "llm",
});

在被捕获的 run 里,这个夹具能通过所测的 all-occurrences 关系。改的是应用里的依赖,不是在测试里插一个延迟。

对真实的模型调用来说,完成仍然不能证明消费。在检索时记录一个有界的结果引用,再记录实际传给生成的那个引用。应用层断言可以比较这两个引用,不用存检索到的文档或 prompt。

就算引用匹配,也只能证明接线对了,不能证明事实有据。回答是否正确使用了证据,需要另外做领域或语义检查。

让未完成的执行保持可见

当前实现有一个更窄的边界值得写下来。在配套夹具里,一个 generate_answer 提前开始、永不结束;另一个匹配的生成在后面完成。单独跑 all-occurrences 顺序规则是通过的,而带完成检查的完整契约会通过 run.status 失败。

这是在 6.31.35 上复现的。这不代表顺序规则能完整诊断每一个未完成的 occurrence。别上一个只查顺序的闸门,也别把这个诊断缺口说成已经修好了。

测试故意造了一个未 await 的挂起操作来暴露这个边界。那是负向对照,不是让你照抄的应用模式。契约测试里保留四个夹具:合法夹具、重叠夹具、重复轮次夹具、未完成夹具。

只要求最小可辩护的结论

trace 能证明一个被记录的步骤先于另一个。有足够的时间戳和边界,它能证明一个在另一个开始前跑完。有应用自己维护的引用,它能帮助证明哪个结果被送到了下游。

这些事实单独都证明不了回答是对的。

实际改进是把义务说清楚。如果生成需要检索输出,就测结果就绪。如果它必须用某个特定的检索结果,就测数据流链接。如果回答必须有据,就拿回答对着证据测。

一个绿色的顺序检查,不该被迫冒充这三件事。

实现参考

  • 顺序实现,包括已完成和运行中的 occurrence
  • TraceContract 的接口面和限制
  • 配套:examples/probes.test.mjs,两个 D03 测试和 await 过的正向对照

常见问题(FAQ)

AI搜索优化中,如何区分检索和生成的开始顺序与完成顺序?

开始顺序指事件被记录的先后,完成顺序指执行依赖。用AgentInspect的可控Promise固定竞态,测试检索是否在生成开始前跑完,而非仅看trace图上的先后。

为什么在AI搜索优化中,仅凭开始顺序通过不能说明生成等待了检索?

因为开始顺序只说明谁先被碰到,不说明结果就绪。生成可能在检索未完成时就开始,需用happens-before模式验证检索在生成开始前完成,并检查数据流依赖。

AgentInspect的TraceContract如何帮助验证AI搜索中的数据流依赖?

TraceContract用类型化关系定义步骤间的顺序约束,如TOOL到LLM的happens-before,并检查端点是否存在。它还能结合应用层引用比较,验证生成是否消费了检索结果。

晓婷深圳
本文由 晓婷 审核,最后更新于 2026年11月19日
联系编辑 →
← 返回文章列表
分享到:微博

版权与免责声明:本文仅用于信息分享与交流,不构成任何形式的法律、投资、医疗或其他专业建议,也不构成对任何结果的承诺或保证。

文中提及的商标、品牌、Logo、产品名称及相关图片/素材,其权利归各自合法权利人所有。本站内容可能基于公开资料整理,亦可能使用 AI 辅助生成或润色;我们尽力确保准确与合规,但不保证完整性、时效性与适用性,请读者自行甄别并以官方信息为准。

若本文内容或素材涉嫌侵权、隐私不当或存在错误,请相关权利人/当事人联系本站,我们将及时核实并采取删除、修正或下架等处理措施。也请勿在评论或联系信息中提交身份证号、手机号、住址等个人敏感信息。