跳至主要内容
模型出错的责任,按控制力分,不按谁弱谁背

模型出错的责任,按控制力分,不按谁弱谁背

合同审查助手漏掉一条自动续约条款,客户因此多付了一年服务费。复盘会上三方各说各话:客户说你的模型不准;开发者说模型本来就有概率出错,条款里写了“仅供参考”;模型供应商说我们只提供 API,接到哪个流程里是你们决定的。每句话单看都成立,合起来就是没有人负责。

这类争论在复盘会上很常见,争的表面是“谁的错”,实际是“谁该赔、谁该改”。我的判断是:责任不按“这个东西是谁做的”来分,按“谁能以可接受成本阻止这个错误”来分。控制力在哪一层,责任就在哪一层;控制力确实是空的,免责才成立。这话听起来像常识,落到具体产品上,很多团队划的线是反的:谁离用户近,谁背锅;谁离模型近,谁免责。

先看三个维度,不看谁声音大

控制力不是一个模糊的感觉,拆开是三个可核对的东西:能不能预见、能不能拦截、能不能止损。

预见指的是,这类错误在测试、灰度、线上观测里出现过吗?出现过就是已知风险,已知风险的默认承担者,是把它上线的那个人。

拦截指的是,从模型输出到用户看到之间,有没有一处可以低成本挡住?比如字段校验、引用核查、二次确认、金额上限。有拦截点却没用,是设计选择,不是能力不足。

止损指的是,错误发生后能不能撤回、能不能补偿、多久能定位到具体一次调用。可撤回的错误和不可撤回的错误,不该用同一套责任规则。

按这三个维度把四类角色摆开,责任轻重基本就出来了:

角色 预见能力 拦截能力 常见免责说法
模型供应商 概率上能,单次样本不能 只在模型层 模型存在幻觉
产品与开发方 场景内最强 最强,提示词、检索、校验、交互都在手上 用户自己没核实
企业部署方 部分,取决于流程 部分,靠权限与复核制度 供应商说准确率很高
终端用户 最弱 最弱 我不知道它不可靠

表格里最容易出错的是第二行。开发者常把自己当成“调用模型的人”,于是把责任推给上游的模型和下游的用户,唯独漏掉中间这一段:场景是你选的,上下文是你拼的,兜底是你写的,交互是你设计的。这一段恰恰是控制力最集中的地方。

“模型有幻觉”是已知属性,不是意外事故

把模型的概率性错误当成不可抗力,是责任划分里最常见的一次偷换。不可抗力指的是事先无法合理预见、事后无法避免的事。模型会胡编,这件事在立项那天就知道,它属于已知风险,不属于不可抗力。

真正决定控制力大小的,是你把模型放进了哪种任务。字段抽取、分类、结构化改写,输出可以被规则和枚举约束,错了能校验出来,控制力在产品这一侧;开放式长文生成、对外话术、金额计算,输出空间大,单靠提示词约束不住。同样是“模型出错”,前者是工程问题,后者是产品选择问题。

一个常见的量级对比是:一次漏检带来的赔付,可能是一条年费;而在提交前加一次人工确认,成本是几分钟。为省这几分钟把校验成本整体转给用户,等于把最贵的那部分风险放到了最没有能力处理它的人身上。

还有一种更隐蔽的情况,是把模型能力当成静态的。接了 API 就默认它一直是上次评测时的样子,版本升级、路由切换、上下文长度变化都不做回归。等到行为漂移引发错误,再来说“模型自己变了”,这时候控制力其实一直在你手上,只是你没去拿。

“同意”按钮转移不了责任

把风险提示写进注册协议,和把高风险动作做成硬阻断,是两个世界的事。前者只证明用户知道有风险,后者才让用户有能力避开风险。

可撤回性在这里是个硬指标。草稿、内部摘要、待确认的建议,错了能一键撤回,流程可以松一些;对外发送、支付、写生产库、提交监管材料,错了收不回来,就必须有阻断。很多事故不是因为模型太差,是因为把不可撤回的动作,放进了为可撤回场景设计的流程里。

用户要避开一个错误,需要多少步操作、多少专业知识,这个可以直接量。如果产品要求用户读完三屏说明、再自行核对五个字段才能避免出错,那这个错误实际上还是你在承担,只是账面上记到了用户头上。格式条款在真实纠纷里能挡一部分,挡不住“明知而放任”。

做了十年 AI 产品,我发现责任争议很少发生在技术层,几乎都发生在流程的接缝处:谁把输出交给谁、谁有权点确认、谁能撤回。技术方案里很少画这几条线,出事时却全靠它们定责。

三种常见的责任错配

甩给用户

专业结论类的产品最常见。财税、医疗、法律,产品给一个结论,然后要求用户自行核实。问题是用户如果有能力核实,他一开始就不需要这个产品。这种转移在纸面上完成了,在现实中没有完成,出错时该赔的还是你。

甩给模型

把模型当成一个外包团队,好像写清楚提示词就是发了需求,出了错是乙方的问题。但模型只对“给定输入下的输出分布”负责,不对你把它接到哪个流程、喂什么上下文、允不允许它调用写接口负责。供应商能控的是模型本身和行为边界,控不了你的产品形态。

落在真空里

多主体协作时最麻烦。企业买通用模型,集成商做定制,业务部门日常使用,三方之间没有一份写明“哪类错误由谁拦”的文档。出事后,供应商说协议只保证服务可用,集成商说按需求交付的,业务部门说以为系统会校验。我见过的一类团队,直到第一次事故才开始补这张表,补的时候往往已经有人离职了。

判断顺序:先问可预见,再问可拦截

错误已经发生,判断责任落在哪一层,顺序比结论重要。现实里的复盘经常从“用户自己没看”开始,一跳就跳到最后一步,把前面两个问题跳过去了。

flowchart TD
A[错误已发生] --> B{上线前可预见吗}
B -- 否 --> C[供应商与开发方共担]
B -- 是 --> D{产品内设有拦截点吗}
D -- 有 --> E[开发方主责]
D -- 没有 --> F{用户能自行识别吗}
F -- 能 --> G[用户分担 需明确告知]
F -- 不能 --> H[开发方主责]

这张图的用法是防止跳步。可预见和可拦截这两问,只要有一个答案是“是”,责任就落不回用户身上。

把责任写进产品,而不是写进条款

给错误分级

分级的轴不要用“严重程度”这种主观词,用两个客观属性:能不能撤回,单次损失的量级。分级结果直接决定流程强度,不决定文案措辞。

YAML13 行
1
2
3
4
5
6
7
8
9
10
11
12
13
error_policy:
- level: L1
traits: 可撤回 低金额
examples: 文案改写 会议摘要
handling: 记录日志 不阻断
- level: L2
traits: 可撤回 高金额
examples: 报价草稿 合同要点
handling: 人工确认后生效
- level: L3
traits: 不可撤回
examples: 对外发送 支付 写生产库
handling: 双人复核 限额 可回滚

留痕到能复现

一次调用要能还原:输入原文、检索到的片段、模型版本、参数、用户改了什么、最终采纳了什么。做不到这一点,责任划分就只能靠猜,而靠猜的结果通常是谁职位低谁背。

干预点前移

等到用户投诉再处理,成本已经发生。能在提交前拦的,不要放到事后审核;能在一个字段上校验的,不要指望用户通读全文。代价是接受率下降、多一次点击,这个取舍要提前讲清楚,别等上线后拿转化率来反对。

设一个止损上限

单笔金额上限、每日自动执行次数上限、人工接管入口。这三样不是不信任模型,是承认模型会错,并且让错的代价有边界。

什么情况下开发者不该全背

有三种,前提是能拿出证据。

用户明确越权。产品写明只做内部草稿,用户直接对外发布;或者用户主动关掉了强制复核开关。控制点被用户拆掉,责任随之转移,但产品要能证明这个开关确实存在、默认开启、关闭有记录。

上游静默变更。模型版本升级没有通知,行为发生漂移,导致原本通过的用例失败。这属于供应商控制力范围,开发者能做的是锁定版本、维护回归集,做不到就该在合同和监控上留证据。

不可预见的组合故障。两个各自正常的模块拼在一起出错,第一次出现时确实没人能预见。但第二次就不成立了:可预见性的判定是动态的,出现一次之后还让它再发生,性质就变了。

免责事由成立的条件是“这个环节我确实没有控制力”,不是“这个环节我没管”。这两句话在复盘会上听着很像,落到赔偿上差很远。

我现在会用的三个问题

给一个新功能划责任线,先回答三问。

这个错误在灰度和内测里出现过吗?出现过还上线,责任在开发方,没有讨论空间。

出错之后能不能在一天内定位到具体一次调用?不能,说明可观测性不够,这本身就是开发方的责任,别急着谈模型。

用户要避开这个错,需要多少专业知识和几步操作?超过两三步,基本等于没给用户控制力,所谓“用户应自行核实”就是一句空话。

三问都过了,才有资格在条款里写“仅供参考”。下一次评审,我会要求在方案里加一列:这类错由谁拦,拦不住由谁赔。这一列填不出来,功能先别上。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#AI 责任 #产品设计 #风险控制

评论