顺序对了不等于依赖成立:用 AgentInspect 拆解 AI 搜索的检索与生成时序
AI Summary (BLUF)
这篇文章教你用AgentInspect工具测试AI搜索中检索和生成的执行顺序,区分“开始顺序”、“完成顺序”和“数据流依赖”。通过可控的Promise和TraceContract,你可以精确验证生成是否真的等待了检索结果,避免误判。
核心洞察
这篇文章最有意思的地方,是它把“顺序对了”这件事拆成了三层:谁先被碰到、谁先跑完、谁的结果真的被用了。我们平时看 trace 图觉得一切正常,很可能只是第一层过了,后面两层根本没测。作者用可控的 promise 把竞态固定住,这个手法值得学。
trace 从检索开始,生成显示在它下面,顺序检查通过了。
但生成其实在检索还没跑完的时候就开始了。
“A 出现在 B 之前”说的是事件被记录到的先后。“A 的结果在 B 开始前就绪”说的是执行依赖。“B 确实消费了 A 的结果”是更强的数据流断言。这三句话不是一回事。
我是 AgentInspect一个用于检查和追踪AI代理运行的JavaScript库,提供MCP客户端包装和TraceContract检查功能。 的维护者。这篇文章用可控 promise 和 agent-inspect@6.31.35 来验证这几个区别。测试夹具不调用模型、搜索引擎或向量数据库。
核心结论
“顺序正确”需区分三个层次:事件被记录到的先后(first-occurrence一种顺序关系模式,只检查第一个匹配的前置操作是否在第一个匹配的后置操作之前出现。)、执行依赖是否就绪(happens-before一种顺序关系模式,要求前一个操作完成后,后一个操作才能开始。)、下游是否真正消费了上游结果(数据流断言),三者并非一回事,仅通过第一层检查不代表后两层成立。
在
agent-inspect@6.31.35的重叠夹具实测中:first-occurrence模式通过,而happens-before和all-occurrences模式均失败,说明生成在检索结果就绪前就已开始,仅凭开始顺序不足以验证依赖关系。all-occurrences是全局边界而非自动配对算法:在“检索→生成→再检索→再生成”的合法两轮交互中,该规则会错误拒绝整个工作流,应通过独立 run 或应用层显式关联来重新建模作用域。修复应发生在应用层依赖而非测试层:正向对照通过先
await检索完成再调用生成来通过 all-occurrences一种顺序关系模式,要求所有匹配的前置操作完成后,任何匹配的后置操作才能开始。 关系;对真实模型调用而言,完成不等于消费,需在应用层记录并比较有界的结果引用。顺序规则存在已知诊断缺口:在
6.31.35上,一个生成提前开始且永不结束的夹具单独跑 all-occurrences 顺序规则会通过,只有带完成检查的完整契约才能通过run.status捕获失败,不应将仅查顺序的闸门当作完整诊断。
把竞态做成确定性的
别搞那种依赖慢网络的演示。把检索挂起,等测试显式放行:
import { inspectRun, step } from "agent-inspect";
await inspectRun("overlapping-retrieval", async () => {
let release;
const ready = new Promise(resolve => { release = resolve; });
const lookup = step.tool("retrieve_policy", () => ready);
await step("generate_answer", async () => "synthetic answer", {
type: "llm",
});
release({ policyId: "fixture-policy" });
await lookup;
}, { traceDir: ".agent-inspect", silent: true });
这里的 type: "llm" 只是给一个被插桩的边界打标签。它不会把回调变成模型调用,也不会捕获隐藏的推理过程。回调返回的是固定字符串。
检索在生成之前被调用,但结果要等生成结束后才能就绪。夹具把这种关系编码进去,不用去猜一个毫秒级延迟。
当第二个操作依赖第一个结果时,仅凭开始顺序是不够的。
在工具步骤和模型步骤之间用类型化关系
用 agent-inspect/readers 里的 openTraceFile 打开生成的文件后,评估这个关系:
import {
defineTraceContract,
evaluateTraceContractRead,
} from "agent-inspect/checks";
const contract = defineTraceContract({
run: { requireCompleted: true },
steps: {
orderRelations: [{
before: { kind: "TOOL", name: "retrieve_policy" },
after: { kind: "LLM", name: "generate_answer" },
mode: "happens-before",
requireEndpoints: true,
}],
},
});
const result = evaluateTraceContractRead(trace, contract);
这里要用类型化关系,因为它跨了 TOOL 到 LLM 的边界。tools.requiredOrder 只针对工具,不是任意工作流节点的通用列表。
TraceContractAgentInspect中的一种契约定义,用于对追踪数据(如运行完成状态、观察结果)进行断言和验证。 还是 beta,steps.orderRelations 在这个版本里明确标注为实验性。锁好版本号,把你真正想依赖的语义测一遍。
重叠夹具的实测结果:
| 模式 | 结果 | 测的是什么 |
|---|---|---|
first-occurrence |
通过 | 第一个匹配的检索是不是最先被碰到? |
happens-before |
失败 | 第一个匹配的检索是不是在生成开始前跑完了? |
all-occurrences |
失败 | 所有匹配的检索是不是都在任何匹配的生成开始前跑完了? |
即使 first-occurrence 顺序通过,重叠也可能产生诊断信息。要看 findings 和 warnings,别只看顶层标签。
更强不等于更正确
all-occurrences 是一个全局边界,不是自动配对算法。
想一个合法的两轮交互:检索、生成、再检索、再生成。要求所有检索都在所有生成之前,这条规则会把这种工作流拒掉,哪怕每个回答都等到了自己的检索结果。
这不是把规则放松到能通过的理由。这是重新建模作用域的理由。用独立的 run,或者在应用层显式关联每个回答和它的检索结果。别假设名字匹配就意味着成对依赖。
同样,requireEndpoints: true 很重要。当必要的端点缺失时,一条顺序断言不该悄悄满足你的产品要求。
先修应用层的依赖
对应的正向对照是先等检索完成再调用生成:
const policy = await step.tool("retrieve_policy", async () => ({
policyId: "fixture-policy",
}));
await step("generate_answer", async () => policy.policyId, {
type: "llm",
});
在被捕获的 run 里,这个夹具能通过所测的 all-occurrences 关系。改的是应用里的依赖,不是在测试里插一个延迟。
对真实的模型调用来说,完成仍然不能证明消费。在检索时记录一个有界的结果引用,再记录实际传给生成的那个引用。应用层断言可以比较这两个引用,不用存检索到的文档或 prompt。
就算引用匹配,也只能证明接线对了,不能证明事实有据。回答是否正确使用了证据,需要另外做领域或语义检查。
让未完成的执行保持可见
当前实现有一个更窄的边界值得写下来。在配套夹具里,一个 generate_answer 提前开始、永不结束;另一个匹配的生成在后面完成。单独跑 all-occurrences 顺序规则是通过的,而带完成检查的完整契约会通过 run.status 失败。
这是在 6.31.35 上复现的。这不代表顺序规则能完整诊断每一个未完成的 occurrence。别上一个只查顺序的闸门,也别把这个诊断缺口说成已经修好了。
测试故意造了一个未 await 的挂起操作来暴露这个边界。那是负向对照,不是让你照抄的应用模式。契约测试里保留四个夹具:合法夹具、重叠夹具、重复轮次夹具、未完成夹具。
只要求最小可辩护的结论
trace 能证明一个被记录的步骤先于另一个。有足够的时间戳和边界,它能证明一个在另一个开始前跑完。有应用自己维护的引用,它能帮助证明哪个结果被送到了下游。
这些事实单独都证明不了回答是对的。
实际改进是把义务说清楚。如果生成需要检索输出,就测结果就绪。如果它必须用某个特定的检索结果,就测数据流链接。如果回答必须有据,就拿回答对着证据测。
一个绿色的顺序检查,不该被迫冒充这三件事。
实现参考
- 顺序实现,包括已完成和运行中的 occurrence
- TraceContract 的接口面和限制
- 配套:
examples/probes.test.mjs,两个D03测试和 await 过的正向对照
常见问题(FAQ)
AI搜索优化中,如何区分检索和生成的开始顺序与完成顺序?
开始顺序指事件被记录的先后,完成顺序指执行依赖。用AgentInspect的可控Promise固定竞态,测试检索是否在生成开始前跑完,而非仅看trace图上的先后。
为什么在AI搜索优化中,仅凭开始顺序通过不能说明生成等待了检索?
因为开始顺序只说明谁先被碰到,不说明结果就绪。生成可能在检索未完成时就开始,需用happens-before模式验证检索在生成开始前完成,并检查数据流依赖。
AgentInspect的TraceContract如何帮助验证AI搜索中的数据流依赖?
TraceContract用类型化关系定义步骤间的顺序约束,如TOOL到LLM的happens-before,并检查端点是否存在。它还能结合应用层引用比较,验证生成是否消费了检索结果。
版权与免责声明:本文仅用于信息分享与交流,不构成任何形式的法律、投资、医疗或其他专业建议,也不构成对任何结果的承诺或保证。
文中提及的商标、品牌、Logo、产品名称及相关图片/素材,其权利归各自合法权利人所有。本站内容可能基于公开资料整理,亦可能使用 AI 辅助生成或润色;我们尽力确保准确与合规,但不保证完整性、时效性与适用性,请读者自行甄别并以官方信息为准。
若本文内容或素材涉嫌侵权、隐私不当或存在错误,请相关权利人/当事人联系本站,我们将及时核实并采取删除、修正或下架等处理措施。也请勿在评论或联系信息中提交身份证号、手机号、住址等个人敏感信息。




