跳转到内容

评估与质量门

评测不是让模型「看起来不错」的打分表,而是对一组固定输入反复验证:Agent 输出是否正确、工具有没有被正确调用,以及敏感信息是否没有泄露。每个 Case 都会保存本次执行的判定、证据和失败原因,让团队分清模型波动与真正的回归。

评测输入会成为该次运行的初始工作流 State;评测结果绑定运行时的工作流快照,因此之后的草稿改动不会改写历史结论。

当前限制:评测会硬性拒绝 Process App、CodeAct Agent 和 Remote Agent。 if_else、switch 与 terminate 没有这项硬性限制;但 Human Review、Ask User Question 需要人工操作,无法作为无人值守评测的稳定步骤。子工作流若包含受限节点也会失败。为得到可重复的 Agent 回归结果,推荐使用 Start → Agent → End 的测试工作流,并将 Agent 所需的已规范化数据作为运行输入提供;端到端流程则用普通运行和运行、调试与追踪验证。

评测的目标是让同一个 Case 可以重复运行、比较版本,并且不会意外影响真实系统。受限节点目前没有统一的评测适配层:

  • Process App 可以执行任意本地 Python,读取文件、访问网络或写入内部系统;相同输入不一定得到相同结果,也可能产生真实副作用。
  • CodeAct Agent 与 Remote Agent 依赖外部运行时、服务或网络状态;没有录制回放或测试端点时,结果、成本与延迟都难以稳定比较。
  • Human Review 与 Ask User Question 需要人作决定。评测不能擅自批准、拒绝或提供答案,否则验证的不是实际业务规则。

因此当前评测会在开始前拒绝无法被安全、确定地控制的执行边界,而不是假装它们已经在隔离环境中测试过。if_else、switch 与 terminate 只消费已有状态、不会自行调用外部系统,所以没有同样的硬性限制。

这不表示这些节点不重要。恰恰相反:它们应通过普通运行、运行历史和端到端手工验证来确认状态传递、权限、恢复与真实副作用是否符合预期。

未来的目标不是取消限制,而是让更多节点在受控边界中参与评测。其中 Tool App 与 MCP 已支持精确匹配 fixture;其余受限节点的适配属于未来方向,不代表特定发布日期:

节点或边界 需要的评测适配 预期验证内容
Process App 固定输入/输出 fixture,或隔离的项目运行环境 App 的数据契约、状态发布与错误处理。
Tool App 与 MCP(已支持) 按工具和精确参数匹配的 fixture,可限定节点 参数、调用次数、返回结构与失败分支;未匹配调用被阻止。
Remote Agent / CodeAct Agent 录制回放、测试服务或受限沙箱 Agent 间协议、代码执行结果与成本边界。
Human Review / Ask User Question 预设批准、拒绝、编辑内容或回答 各个人工决定后的状态与分支。
子工作流 递归检查内部节点是否有可用适配器 父子工作流的输入、输出与版本组合。

在其余受限节点具备适配器前,建议把质量策略分成两层:用 Agent 评测保护模型行为;用普通运行和运行历史验证完整 Workflow。这样既不会把外部副作用带进回归集,也不会忽略真正的端到端风险。

不要从「我要多少分」开始。先选择一次修改绝不能破坏的行为,再把它写成输入和可观察的预期。

以客户反馈分流为例,第一组 Suite 可以叫「客户反馈分类回归」,用例至少覆盖:

用例类型 输入特征 要守住的结果
常见 普通问题、信息完整 分类、优先级和建议正确。
边界 信息不完整、描述含糊 不编造事实;在结构化输出中标记需要补充的信息。
高风险 退款、隐私、账号安全 输出正确的优先级和建议;不泄露敏感字段。
回归 曾经发生过的真实事故 原问题不再出现,并保留当时暴露出的关键约束。

一个 Case 应该只说明一个可判断的行为。输入越像真实任务,断言越应聚焦稳定字段、工具行为和安全边界,而不是逐字匹配一段自由文本。

  1. 打开工作流内的 评测集,创建 Suite,填写名称和覆盖范围;
  2. 新建 Case,填写名称、说明和 输入 JSON;输入键必须符合工作流的运行输入契约;
  3. 先添加一条最重要的输出断言,再按风险补充工具和安全断言;
  4. 保存并运行评测集;每个 Case 都会显示通过、失败、错误或跳过,以及对应的执行证据;
  5. 修改 Prompt、节点、模型或工具后,再运行同一 Suite,比较新增失败、修复和持续失败的 Case。

新建「客户反馈分类回归」评测集后的页面:可添加 Case、运行评测集,并在开始运行前查看节点、分支和失效断言的覆盖概览。

示例输入 JSON:

{ "feedback": "升级后导出的 CSV 无法打开,今天下午要给财务对账。" }

这条输入不应只断言一句回复文本。它至少可以要求 priority 为 high,并要求分类 Agent 的结构化输出含有可执行的 recommendation。

完整配置示例:高优先级反馈必须被正确分类

Section titled “完整配置示例:高优先级反馈必须被正确分类”

以下配置以「客户反馈分类回归」Suite 中的一个 Case 为例。为获得最稳定的回归测试,先新建或复制一个仅含 Start、分类 Agent 与 End 的测试工作流;Agent 直接读取 feedback,或将 normalized_feedback 设为测试工作流的运行输入。不要把 Process 或需要人工操作的节点放进此评测流程。

  1. 在工作流顶部打开 评测集,点击新建 Suite;名称填写「客户反馈分类回归」,描述填写「验证 Agent 分类、工具与敏感信息边界」。
  2. 选中刚创建的 Suite,点击新建 Case;名称填写「财务对账受阻时正确分类」,说明填写「高紧急度问题必须给出可执行建议」。
  3. 在 工作流输入 → 输入 JSON 填入:
{
"feedback": "升级后导出的 CSV 无法打开,今天下午要给财务对账。"
}

输入 JSON 的顶层键必须与工作流的运行输入 Key 一致。不要放入只在节点私有状态中才会出现的字段。

在 验证规则 点击添加规则,选择「最终输出字段」。依次添加:

字段路径 运算符 期望值 目的
$.priority 等于 high 验证分类的稳定结果。
$.category 存在 无 验证结果包含反馈类别。
$.recommendation 存在 无 验证结果包含处理建议字段。

以上字段与分类 Agent 的结构化输出 Schema 保持一致。存在性断言只检查字段是否出现,不证明建议可执行;首次运行时应审阅内容,再按实际要求添加「包含」断言。仅对工作流契约中定义的字段和处理要求添加断言。

字段路径使用 JSONPath 形式,例如 $.priority。对于模型自然语言回复,优先检查结构化字段;只有回复措辞本身是产品承诺时,才选择「最终输出文本」并使用精确匹配、包含或相似度规则。

3. 添加 Agent 的最终输出与消息规则

Section titled “3. 添加 Agent 的最终输出与消息规则”

分类 Agent 的结构化结果会作为最后一条 Agent 消息保存,并成为评测的最终输出。因此应在 验证规则 → 最终输出字段 中用 $.priority = high 验证它;不要对该 Agent 使用「节点输出断言 → $.priority」。节点输出的 Agent 表面只有 messages,其中 content 是 JSON 文本,路径解析不会再次把这段文本解析为对象。

若产品要求特定措辞,可在 Agent 消息断言 中选择分类 Agent,使用「包含文本」验证回复包含必要的下一步说明。不要用逐字匹配约束正常的模型表达变化。

4. 添加工具与安全规则(按需要)

Section titled “4. 添加工具与安全规则(按需要)”

本例的 CSV 分类不需要订单工具。若要另外验证订单查询,请先为测试工作流定义 ticket_id 输入,在 Case 中提供 "ticket_id": "TK-2025-001",选择 lookup_order 工具,并让 Agent 根据该输入查询订单。然后:

  1. 在 节点工具断言 选择分类 Agent 和 lookup_order;调用次数填写 1。
  2. 若参数本身重要,开启严格参数并填入期望 JSON,例如 {"ticket_id":"TK-2025-001"}。
  3. 在 工具 fixture 中选择同一工具,填入与实际调用完全一致的参数(本例为 {"ticket_id":"TK-2025-001"}),并返回符合工具输出 Schema 的固定 JSON。评测会阻止未匹配 fixture 的调用,不会回退到真实订单系统。

在 安全断言 中,把检查目标设为最终输出、工具参数或工具结果;添加不得出现的字段路径,如 $.customer.phone,或不得出现的文本,如真实 API Key。安全规则要针对真正不应离开边界的数据,不要把正常业务字段误写成禁止项。

保存 Case 后点击运行 Suite。运行结束时:

  • passed 表示执行完成且所有启用断言通过;
  • failed 表示执行完成,但至少一条断言不满足;打开详情对比期望与实际;
  • error 表示评测运行本身未能完成;先回到运行记录定位节点错误;
  • skipped 表示该 Case 被禁用或没有参与本次运行。

运行「财务对账受阻时升级人工」Case 后的评测集概览:显示通过率、耗时、Token、Case 判定,以及当前覆盖情况。

如果这个 Case 首次通过,再增加一条普通反馈 Case,断言 priority 不为 high。两个相反的 Case 一起才能证明分类不会漏掉高风险,也不会把所有任务都判为紧急。

你要验证什么 使用的断言 适合的例子
工作流交付的值 最终输出字段 / JSON 断言 priority 等于 high;category 与 recommendation 字段存在。
某个控制节点产生的结果 节点输出断言 条件节点的 $.route 等于预期出口。Agent 的结构化结果应使用最终输出字段断言。
Agent 的回答 Agent 消息断言 精确匹配、包含文本,或按相似度比较预期答复。
正确地调用能力 节点工具断言或工具轨迹 lookup_order 恰好调用一次,并接收预期参数。
不应泄露或发生的事 安全断言 最终输出、工具参数或工具结果不含指定字段路径或文本。

优先使用最终输出和节点输出断言,因为它们稳定、可解释。只有 Agent 的工具使用本身重要时才增加工具断言;不需要为了「覆盖更多」而锁死无关的实现细节。

真实工具可能读取会变化的数据,或产生发送、写入、删除等副作用。评测中的 Tool App 和 MCP 调用必须命中 fixture:工具名与参数 JSON 都要完全一致,也可指定所属 Agent 节点;节点专属 fixture 优先于不限定节点的 fixture。命中后返回固定 JSON,未命中则报告错误,不执行真实工具。空参数调用也必须配置 {}。

结合工具断言检查调用顺序、次数和参数,并让 fixture 返回值符合工具输出 Schema。若要验证真实服务,请通过普通运行连接专门的非生产环境;当前评测不会通过测试凭据绕过 fixture 要求。

打开 Case 结果,而不是只看通过率

Section titled “打开 Case 结果,而不是只看通过率”

无论 Case 通过还是失败,都打开详情确认它验证的内容符合预期。阅读顺序是:

  1. 执行状态:运行本身是否失败、取消,还是已完成但断言未通过;
  2. 失败原因与断言结果:哪一条规则的期望与实际不一致;
  3. 实际输出与规范化轨迹:错误值从哪个 Agent 或工具调用出现;
  4. 输入与工作流快照:确认这是预期的 Case 和版本,而不是测试数据或草稿错配。

Case 的 error 和 failed 不同:前者通常意味着工作流未能顺利执行,后者表示运行完成但行为没有满足验收条件。两者都应回到运行、调试与追踪查看逐节点证据。

评测 Case 的结果详情:逐条展示断言的期望与实际值,并显示节点路径和分支命中证据;失败时会在同一位置显示失败原因。

用版本比较判断改动值不值得发布

Section titled “用版本比较判断改动值不值得发布”

同一 Suite 在两个工作流版本上运行后,版本比较会将每个 Case 标记为新增、移除、回归、修复或持续失败,并比较具体断言的变化。评审时不要只看总通过率:

  • 新增失败是候选版本带来的风险,应先解释或修复;
  • 修复应确认没有以牺牲关键安全或工具断言为代价;
  • 持续失败应创建明确的修复任务,或将 Case 标记为暂不执行并写清原因;
  • 新增用例应尽量补齐真实事故和新的产品承诺。

在 发布质量门 中把发布条件写成团队可以共同遵守的底线:

  • 开启 必须至少有一次评测,防止未验证的候选版本发布;
  • 选择 发布必检评测集,只将真正关键的 Suite 设为门槛;
  • 设置最低通过率,避免少量失败被总分掩盖;
  • 按风险设置最大成本与最大耗时,防止功能正确但不可承受的版本发布。

发布时,Workrun 读取当前候选工作流快照对应的最近评测,而不是把旧版本的成功结果借给新草稿。未通过时可以明确确认旁路并填写理由;旁路是有审计记录的例外,不应成为替代修复的常规流程。

一个起步配置可以是:开启「必须至少有一次评测」;将「客户反馈分类回归」设为必检;最低通过率设为 100%;最大耗时根据团队的交互预期填写,例如 30 秒;成本阈值只在团队已建立预算基线后再启用。不要先把所有 Suite 都设为发布门槛,先从直接保护用户、安全和外部副作用的用例开始。

  1. 用单次运行理解问题并确定要守住的行为;
  2. 新增或更新能复现该行为的 Case;
  3. 修改工作流、Prompt、模型、工具或 Schema;
  4. 运行关键 Suite,阅读每个失败的证据;
  5. 比较版本,确认没有引入新的关键回归;
  6. 通过质量门后发布,或留下带理由的旁路记录。

评测不会替代人工判断,但它让每次判断都可以被下一次修改重新验证。