内测两百家企业客户,投诉分成两半:一半说「它什么都不敢做,只是把我要做的事复述一遍」,另一半说「它擅自给全部门发了通知」。这两句话看着矛盾,其实指向同一个缺失——团队只有一句「高风险动作要确认」,没有一套能执行的规则。
我出这道题,不是想听候选人讲自主性光谱。我想看的是:给他 12 个具体动作、一个能输出置信度的技术侧,他能不能写出一份工程和法务都能照着实现的判定表。
本系列第 1/10 篇 · 下一篇:用户改了预算,Agent 要不要重跑全流程
先给动作分级,再谈自主性
12 类动作是:查资料、总结文档、建日程、建群、发部门通知、发起审批、提交审批、修改文档、删除文档、导出数据、对外发消息、发起付款。按「风险高不高」分三类,等于没分,因为每个动作在不同上下文里风险都不同。我按四个判定信号切:
| 信号 | 取值 | 为什么用它 |
|---|---|---|
| 副作用是否可回滚 | 有无 undo / 回收站 / 撤回窗口 | 决定错误成本,是唯一硬信号 |
| 影响半径 | 本人 / 协作小组 / 全部门 / 组织外部 | 决定错误外溢到谁身上 |
| 是否形成对外承诺或资金流动 | 布尔 | 触发合规与财务责任,产品无权自行决定 |
| 意图置信度 | 阈值 0.8,低于则整体降一档 | 把模型的不确定性翻译成交互,而不是算法参数 |
按这四项,我得到四层而不是三层:
- L0 只读:查资料、总结文档。直接执行,不留确认。
- L1 可逆且只影响本人:建日程、修改本人草稿。执行后给一条 10 秒内可撤销的轻提示,不打断流程。
- L2 可逆但影响他人:建群、发部门通知、发起审批、提交审批、导出数据、修改共享文档。二次确认。
- L3 不可逆或对外:对外发消息、发起付款、删除文档。拒绝自主执行,走降级出口。
注意「删除文档」我没有直接禁止,而是要求产品先把删除实现成「移入 30 天回收站」,它才会从 L3 掉到 L2。这件事的意义在于:分级不是给现状贴标签,是可以反过来驱动能力设计的。候选人如果能主动改一个动作的实现方式来改变它的级别,比背十种权限模型都有说服力。
三类出口,各自的交互长什么样
自主执行:结果直接落地,配一条可撤销提示,提示里写「做了什么」和「点此撤回」,不写「AI 已为您智能完成」。
二次确认:确认卡片必须有四样东西——要做什么(具体对象与参数)、影响谁(收件人范围、可见人数)、依据哪条信息(引自哪条消息或文档)、以及不可撤销的部分是什么。缺任何一项,用户就只能凭对产品的信任点「同意」,那不是确认,是甩锅。
拒绝并降级:不说「我不能做」,说「这一步需要你本人发出」+ 生成好草稿 + 一个按钮把草稿送到发送框。降级出口的关键是留一条能走通的路,而不是把用户堵在能力边界前面。
四种信号里,置信度是唯一动态项。所以我会要求它只能降档不能升档:置信度低时 L1 也要确认,但置信度再高,L3 也不会变成 L0。这条规则写死在判定表里,能防住最常见的一类事故——模型「这次特别有把握」,于是越过边界。
别让确认把产品变成审批机器
内测里那句「它什么都不敢做」不是错觉,是确认率太高造成的。只写「高风险要确认」,工程实现一定偏向多确认,因为漏确认要背锅、多确认没人投诉。所以我给三条可量化的约束:
- 单任务确认次数 ≤ 1:同构动作合并成一次批量确认,卡片里列出全部对象。给十个人分别建群,不该弹十次。
- 周确认率 ≤ 20%(确认次数 / 有副作用动作数),超过就说明分级写粗了,要回头拆动作,而不是加「智能判断」。
- 确认不阻塞只读步骤:卡片等待期间,其余检索和整理继续跑,用户回来时结果已经在。
同时看四个数的组合,而不是只看确认率:确认率、确认后取消率、确认耗时中位数、任务放弃率。确认率降了、取消率升了,说明不是变流畅,是放得太开,用户点完才发现不对。这一组数字就是「过度确认」和「过度自主」之间那道可调的缰绳。
我首期不开放的能力
发起付款。理由有三条:错误不可回滚、责任主体在财务制度里本来就是人、而且这类动作的收益完全可以用更轻的方式拿到——生成付款申请草稿并附依据,交回原审批流。它给产品带来的「端到端」叙事,抵不上一次误付对整条产品线信任的伤害。
「能力清单」和「开放清单」不是一回事。敢在评审会上砍掉一项技术上完全做得到的能力,并说清替代方案,是这道题最强的信号。
追问:客户要「全部免确认」
我不会去争论「敢不敢」。先把对方的诉求翻译成效率问题,再谈责任边界:免确认要的效率,可以用批量预授权拿到——按动作类型、影响范围、有效期三个维度授权,比如「本周内对本部门 20 人以内的通知免确认」,L3 不动。
然后谈事实,不谈原则:内测那次误发通知影响了多少人、撤回用了多久、剩下的群消息有没有被截图转发出去。管理员说「出问题我们自己负责」,但真正承担后果的常常是收到通知的同事和客户,不是签字那位。所以 L3 是组织级硬约束,可以配置的是 L2 的授权粒度;要动 L3,需要二次签署并留痕,且默认关闭。
把「开关」做成产品,比把「风险」让渡给客户,更像是产品经理该做的事。
我会怎么看答案
及格:能分出高、中、低三类,说高风险要人工确认。良好:给出判定信号、确认卡片的字段、以及防止过度确认的办法。优秀:会用可观测指标约束确认频率、敢砍一项能力、能把追问谈成责任归属与商业方案,而不是加一个免责弹窗。
常见的失分点是「让用户自己设置」。听起来很尊重用户,实际是把产品最核心的决策推给了最没上下文的人——新客户第一天根本不知道该勾哪几项。
能力边界的价值不在于挡住多少危险动作,而在于让剩下的动作可以放心地自动执行。
下一题更难一层:边界定完了,任务要跑十几步,用户中途改了预算,这份计划该怎么改?
评论