跳至主要内容
Badcase 评审会:先给错误定价

Badcase 评审会:先给错误定价

上线前的 badcase 评审会,最常见的失败不是漏掉几个 case,而是开成一场挑错大会:模型答错一句,产品说体验差,算法说样本少,运营说用户会投诉,最后谁也没回答“这个错误值不值得为它推迟发布”。会议结束,群里多了一串待办,发布节奏没变,风险也没被真正定价。

badcase 评审会不是质量验收的替代品,也不是模型团队的批斗会。它更像一次发布前的风险定价:把有限的修复资源放到最可能造成不可逆后果的错误上,同时明确哪些错误可以被接受、由谁接受、在什么范围内接受。评审会的产出不应该只是“修复列表”,而应该是一组发布条件。

先别问“错在哪”,先问“错了会怎样”

一个常见的场景是知识库问答产品上线前,评审会上同时出现两类错误。第一类是把退款政策说错,用户照着回答去操作,可能产生实际资金损失;第二类是回答里把用户称呼写错,用户看一眼就能发现,改口重问即可。两类错误都叫 badcase,但前者需要阻塞发布,后者最多排进体验优化。若会议从“模型为什么错”开始,算法同学会先解释检索没召回、prompt 没约束,讨论很快滑向技术根因,真正该先回答的“用户会不会因此做错事”反而被跳过。

所以我更倾向把评审会的前半段锁在一个问题上:这个错误发生后,用户会付出什么代价。代价可以是钱、时间、权限、数据,也可以是一次不可逆的对外发送。没有代价描述的 case,先不进评审,回到复现池补证据。

用四个维度给错误定价

错误定级不看模型置信度,也不看修复难度。置信度低但用户能一眼看出的错误,未必比置信度高、用户看不出来的错误更危险;好修的错误也不一定优先级高,否则团队会本能地先修简单 case,把真正会出事的 case 留到上线后。

我会用四个维度做初判。后果是否可逆,影响面是一个用户还是一批用户,用户能不能自己发现,纠正一次要花多少成本。四个维度里,可逆性和可发现性权重最高,因为它们直接决定错误会不会变成事故。

维度 要问的问题 对级别的影响
后果可逆性 用户照做后能不能撤回 不可逆直接升到 P0 或 P1
影响面 一个用户还是批量,是否会扩散 批量或跨用户升一级
可发现性 用户能不能看出这是错的 看不出来升一级
纠正成本 重试一次够不够 要找人、走流程或赔钱再升一级

下面这棵判断树不是精确公式,只是把会议上的争论收敛到几个固定问题。

flowchart TD
    A[发现 badcase] --> B{用户能自行发现吗}
    B -- 不能 --> C{错误可撤回吗}
    C -- 不能 --> P0[P0 阻塞发布]
    C -- 能 --> P1[P1 灰度加兜底]
    B -- 能 --> D{涉及资金权限合规吗}
    D -- 是 --> P0
    D -- 否 --> E{高频出现吗}
    E -- 是 --> P2[P2 排期修复]
    E -- 否 --> P3[P3 记录观察]

一个 case 进会前,必须先写成错误卡片

评审会低效,通常不是大家不认真,而是 case 没有结构。口头描述一个 badcase,十分钟只能还原一半;每个人脑中的用户场景不一样,定级自然吵。我的做法是让发现人先填一张卡,会前异步看,会上只讨论分歧。

YAML11 行
1
2
3
4
5
6
7
8
9
10
11
id: BC-xxx
场景: 退款政策问答
用户输入: 用户原话或脱敏后的等价问法
期望行为: 引用政策并说明例外
实际行为: 给出无条件退款结论
证据: 会话链接或日志片段
影响面: 单用户 / 批量 / 跨租户
可发现性: 用户能否自行判断
可撤回性: 是否已产生不可逆动作
初判等级: P0 / P1 / P2 / P3
建议 owner: 检索 / Prompt / 产品交互 / 策略

卡片里最重要的是三行:用户可见输入、期望行为、实际行为。没有这三行,讨论会变成对模型输出的二次解释。影响面和可撤回性可以初判,但必须给证据;如果发现人判断不了,就标“待确认”,由对应 owner 在会前补,而不是在会上现猜。

预读也有讲究。不要把所有 case 平均分发,按场景分层:主流程、边界输入、高风险动作各抽一些。流量小的产品可以全量看;流量大的产品按场景分层抽,每层至少几十条,否则你看到的只是几个好讲的例子。评审会最怕的不是样本少,而是样本全是容易复现、容易讲清楚的 case,真正隐蔽的错误一条没进来。

会议只处理分歧,不逐条朗读

会前已经定过级的 case,会上不再逐条过。会议时间应该花在三类分歧上:等级不一致、owner 不明确、发布条件谈不拢。P2、P3 如果没人反对,直接记录,不占用全场注意力。

每个 case 在会上只输出三件事:等级、owner、发布条件。等级决定它是否阻塞发布;owner 决定谁在什么时候给出修复或兜底方案;发布条件决定它是以“已修复”“已加护栏”“已知问题”还是“接受风险”的状态上线。三件事没有落齐,这个 case 就还没评审完。

根因分析不要放在同一个会上。评审会可以标记“疑似检索问题”“疑似 prompt 约束不足”,但不要现场让算法同学 debug。根因分析需要看日志、复现、对比版本,放在会后更合适。评审会一旦开始现场查日志,节奏就会被第一个复杂 case 拖死。

还有一个容易忽略的动作:记录“接受的风险”。很多团队只记录要修的问题,不记录决定不修的问题。上线后出了事,大家才发现当初有人提过,但没人记得为什么没修。接受风险也要有批准人,不能默认由沉默通过。

发布条件要写成可检查的句子

“优化 prompt 后再上”不是发布条件,因为它不可检查。可检查的写法是:退款场景的 P0 清零;未修复的 P1 必须有 owner 和人工兜底;灰度期间出现某类严重错误就回滚;P2 写进已知问题,客服话术同步。这里的关键不是把条件写长,而是让另一个人能在发布前判断“满足”还是“不满足”。

P0 不一定等于“所有 case 都修完”。有些 P0 是模型能力边界,短期修不掉,那就改产品边界:缩小开放场景、加一道人工确认、把自动执行改成建议、在答案里强制引用来源。评审会如果只接受“修模型”这一种解法,很多高风险 case 会被迫带着上线。

P1 的处理更能看出团队成熟度。P1 通常不是必现,但一旦出现代价不小。对这类错误,我会要求有可观测信号和回滚开关,而不是只写“关注一下”。关注不是动作,告警、限流、人工接管才是动作。

同一错误,换个产品形态就不是一个级别

同一条错误,在代码补全里和在客服自动回复里,级别可能差两级。代码补全给出错误建议,用户编译或测试时能发现,撤回成本低;客服自动回复直接发给终端用户,用户可能照着操作,撤回成本高。前者可以灰度,后者可能要阻塞发布。

人在环路里也会改变定级,但要看人是不是真的在看。一个常见误区是“反正有人审核”就把自动生成的风险降级。如果审核界面默认通过、一次要看几十条、没有抽检,人在环路里只是橡皮图章,不能按“有人兜底”来降级。反过来,如果每条高风险输出都必须人工确认,且有拒绝理由记录,那么一些 P1 可以降到 P2。

高风险领域还要另算。医疗、法律、金融、权限变更这类场景,错误的后果不是体验差,而是合规责任或不可逆损失。这时 P0 的定义要扩大,不能套用通用产品的“先上线再迭代”。这不是评审会能单独决定的,需要业务、法务、安全一起定边界。

评审会解决不了的,别硬塞进会议

有些 badcase 不是模型问题,是产品问题。用户问了一个政策本身没有写清楚的问题,模型只能猜;用户输入缺少必要参数,模型只能编;产品把“建议”做成了“自动执行”,错误后果被放大。这些 case 放进评审会,最后会变成算法团队背所有锅。更合理的动作是改产品边界:补政策、加必填字段、把自动执行降级为建议、把开放问题收窄到有明确答案的范围。

也有些错误应该被明确接受。低频、可发现、可重试、不涉及资金权限的错误,不值得为它推迟发布。团队如果追求“评审会上所有 case 都清零”,结果通常是发布无限延期,或者大家学会在评审会上少报 case。后一种更危险,因为它让评审会看起来越来越顺,线上却越来越黑。

一个可执行的收尾是:每次评审会结束前,留五分钟确认三件事。P0 有没有清零或缩小范围,P1 有没有 owner 和兜底,接受风险的批准人有没有写进记录。然后散会。下一次评审会,先让每个 case 带上它的后果,再让模型团队解释原因。顺序反了,会议就会变成一场没有结论的挑错。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#AI产品 #发布评审 #错误定级

评论