给一个售后 Agent 做上线前验收,200 条用例跑完,通过率 86%,会议室的结论是“可以上”。上线两周,投诉集中在同一类场景:它跟用户说“已经帮您提交退款申请”,实际退款单没建。
翻 trace 才看清楚。第 3 步模型确实决定退款,但工具调用少传了一个必填字段,接口返回 400。Agent 把这个错误吞进上下文,在回复里补了一句“已提交,预计 1 到 3 个工作日到账”。验收用例的断言是回复文本包含“退款”。它包含。
这条用例在报表里是绿的。绿得有道理,因为断言写的就是这个。
端到端通过率把三种不同的错压成一个数
上面那条属于第一类,我叫它“错得对”:过程错了,结果碰巧对,或者被判对。
典型的样子是同用户名下挂了两张订单,工具调用做了模糊匹配,抓错了单,金额恰好一样。最终答案的金额、话术、格式全部正确,断言全过。这类样本在通过率里占多少,端到端测不出来,因为端到端只看得见一个投影。
第二类是“对,但代价高”。Agent 在第 2 轮误解了用户的约束,第 4 轮重新追问才纠回来。答案正确,用户多等了两轮,token 多花近一倍。成功率曲线很漂亮,p95 延迟和成本曲线在另一张报表里。
第三类最隐蔽:“答对,但出了事”。为了确认订单状态,Agent 先调了取消再调恢复,最终状态正确。可是两条通知短信已经发出去了,一条给用户,一条给仓库。黑盒断言检查的是最终状态,副作用在断言之外。
把这三类放一起看,端到端通过率其实是一个投影函数:它把一条完整轨迹压成一个布尔值,中间所有分支、重试、工具调用、外部写入,全部丢掉。压得越狠,报表越好看,可解释性越差。
还有一层问题在用例的来源上。验收用例多半是从线上跑通的工单里抽的,天然偏向已经走通的路径。200 条里真正会触发模糊匹配、重试、副作用的可能不到 20 条,最贵的那部分失败模式,在抽样时就被过滤掉了。
一次 Agent 运行里,能留下可观测结果的位置不止最终答案。
flowchart LR
R[用户请求] --> S1[取数与检索]
S1 --> S2[判断与规划]
S2 --> S3[工具调用]
S3 --> A[最终答案]
S3 --> X[外部副作用]
S3 --> C[耗时与成本]黑盒断言只覆盖最右边那个 A。X 和 C 不在断言里,S1 到 S3 也不在。它们不是不重要,只是没被写进验收标准。
错误不会消失,只会换个科目记账
关于多步 Agent 的错误累积,有一个被引用太多次的算术:单步准确率 0.97,十步串起来是 0.74。
这个算术本身没错,但它经常被用错方向。真实系统里,端到端通过率往往比 0.74 高,因为有重试、有反思、有兜底话术。于是有人得出“我的 Agent 比理论值强”的结论。
差额不是消失了,是换了科目。偏差在轨迹里的去向,大致是三种。
flowchart TD
E[某一步出现偏差] --> Q{下游能发现吗}
Q -->|能且愿意修| F[修复 成本上涨]
Q -->|不能| G[偏差进入上下文]
G --> H{后续怎么处理}
H -->|围绕它自洽| I[答案通顺但错]
H -->|与别处抵消| J[答案对 方差大]修复这一支,账记在轮次、token 和延迟上。抵消这一支,账记在方差上,平均通过率看不出波动,同一个用例跑三遍可能是对、错、对。最危险的是自洽这一支。
上下文里的错误不会被删除,只会被解释。工具返回了 400,模型不会当作“我错了”,它会当作“接口有问题”,然后围绕这个前提继续往下走:换个参数重试、换个工具,或者干脆在回复里描述一个理想结果。后面每一步都在为一个错误前提服务,最后产出的文本读起来特别顺,因为模型的全部注意力都用在让故事讲得通上。
我见过的一类团队会把这类输出当成“模型能力提升了”,因为失败案例变少了,剩下的案例看起来都很专业。实际是失败从“答错”迁移到了“答得像对的”,后者更难被用户和运营发现。
一个可操作的判据:如果一批失败样本读起来和成功样本几乎没区别,问题不在模型,在可观测性。
断言要断在不可逆的地方
知道要白盒,下一个问题是要记多少。全量记录所有中间状态,存储和标注成本会先撑不住,而且噪声大,没人看。
我倾向按三条判据筛断言点,任意一条成立就断:
- 这次调用之后,外部世界有没有变化(写库、发消息、扣款、建单)
- 这个判断错了,后面还能不能纠回来
- 这个字段错了,最终答案是不是必然错
第一条对应副作用,第二条对应不可逆的决策分叉,第三条对应数据传递链路上的关键字段。三条都不成立的步骤,比如中间的一次改写、一次摘要,出错概率再高也不值得单独断言,让端到端兜着就行。
落到用例上,一条测试通常长这样:
1 | case: 退款超过免审额度,必须转人工 |
这里断言的是工具名加关键参数,不是完整参数列表,也不是调用顺序。顺序断言很容易写死一个实现细节,模型换个合理的调用次序就红了,维护成本比收益高。
成本上还能再省一点:结构化事件(工具名、参数哈希、返回码、耗时、轮次)默认全量记录,体积小、可聚合;工具返回的原文和模型思考按比例采样,只在失败用例上强制保留。争议通常在原文上,但归因大部分时候用事件就够了。
通过率之外,还得看分布的哪一头
同一个 86%,含义可以差很远。
一种做法是把“一次通过”改成“k 次全通过”。同样 86% 的单次通过率,三次全过的比例可能是 78%,也可能是 51%。后者说明模型在“会”和“不会”之间摇摆,每次都在赌。这类 Agent 上线后,用户感受到的是偶尔莫名其妙地不灵,而不是 86% 的好用。
我目前会一起看这几项:
- 关键决策点的逐步正确率,和端到端的差
- 无效调用率和回滚率,也就是调了又撤回的比例
- 轮次和 token 的 p50、p95,不只看均值
- 失败模式的聚类,不只看失败条数
最后一项尤其重要。如果失败条数从 40 降到 25,且是同一类问题被修掉了,那是真进步;如果只是把难用例改简单了、或者把多轮任务拆成了单轮问答,通过率涨了,能力边界也缩了。这种“优化”在报表上完全看不出来。
还有一种情况更常见:通过率提升来自兜底话术。Agent 判断不确定时改说“我帮您转人工”,人工兜住了,端到端算通过。这个行为本身没错,但如果转人工率从个位数涨到三成,通过率的意义已经变了。转人工率要单独当一个指标看,不能混在成功率里。
评测集自己也会腐烂。用例是从当时的线上工单抽的,模型换了、工具改了、用户行为变了,用例还在原地。半年后同一套用例的通过率可能涨了,但那是因为它测的东西已经不代表线上。我的做法是每次模型或工具链有大改,先跑一遍逐步正确率,看哪一层的分布变了,再决定补哪些新用例。
黑盒什么时候确实够用
写到这里容易走极端,好像所有 Agent 都必须上全套白盒。不是。
黑盒够用的条件比较明确:单步、幂等、无副作用、答案能被机器低成本判定。分类、抽取、改写、单轮问答基本都符合。这类场景中间过程对用户不可见,也不影响后续状态,把断言做在输出上,性价比最高。
必须白盒的场景也清楚:有多轮状态、有写操作、答案需要人判定(合同条款、诊断建议、方案取舍)、有硬性成本约束。这几种情况下,最终答案对了也可能是一次事故。
大多数产品落在中间。我的默认做法是黑盒当门禁,白盒做归因:回归测试跑端到端,卡住明显退步;一旦红了或者指标异常,再下沉到步骤级去看是哪一段出了问题。反过来做,先建一套精细的步骤断言,往往在模型换版本时集体失效,维护的人很快就疲了。
下一次给 Agent 写验收用例,可以先给每条用例加一句备注:这条如果过了,我能不能说清它是怎么过的。说不清的,就不该只当黑盒测。
评论