一个常见的复盘场景:AI 团队汇报,某类文案的初稿生成从几十分钟压到几分钟;业务负责人接着问,那为什么交付量没涨,审校同事还在加班?
这个数字通常不是造假,它只是回答了一个很窄的问题:在生成这一步,机器比人快。业务方关心的是另一个问题:从需求进入到可对外交付,整条链路有没有变快、变便宜、变稳。两个问题之间隔着备料、审校、返工、审批和队列。
提效度量被质疑,核心不是大家不相信 AI 快,而是缺一个反事实基线:如果没有 AI,这批活本来要花多久、错多少、返工几次。没有这个基线,所有“节省”都只是对某个步骤的局部观测。
局部速度最容易被搬运
客服团队上 AI 草稿后,一线回复一条工单可能从几分钟变成几十秒。但敏感场景要从抽检改成全检,复杂问题还要转人工,用户没被解决就会二次来电。生成环节省下的时间,被复核和二次沟通吃掉了。代码补全也有类似路径:采纳率上去了,评审要读更多风格不一致的代码,调试和返工后移。数据分析里,模型写 SQL 查询很快,但口径解释、结果校验、异常排查都还在人这边。
时间没有消失,只是换了个人、换了个环节、换了一张工时表。这在团队里常被叫作搬运。搬运的特点是,原岗位的指标变好看了,下游岗位的负担变重了,而后者通常不在 AI 项目的报表里。
另一种稀释叫重排。生成变快之后,团队很容易把任务攒起来批处理:上午集中生成,下午集中审校;或者把审批挪到固定节点。单步时间下降了,等待时间上升了,总交付周期可能一点没变。如果审校是瓶颈,前端生成越快,队列里的初稿越多。在制品增加,也就是已经生成但还没审完的初稿变多,平均等待就会变长。这是排队系统的基本规律,不需要多复杂的模型。
一条内容链路里,AI 通常只压中段,前后两端反而会变厚。
flowchart LR A[需求进入] --> B[找上下文] B --> C[AI 生成] C --> D[审校与核查] D -->|通过| E[审批] D -->|不通过| F[人工返工] F --> D E --> G[对外交付] C -.-> H[提示词维护] D -.-> I[事实核查]
图里新增的提示词维护、事实核查、人工返工,在很多汇报里被归到“日常运营”,不进入 AI 项目账本。业务方看到的却是这些成本。
速度指标会被三类动作稀释
搬运、重排、重做,经常同时发生。重做最容易被忽略:模型出的初稿看起来能用,但事实要核、口径要改、品牌语气要调,改到最后和重写差不多。用户点了“采纳”,不代表这份产出能直接交付。采纳率测的是按键动作,不是最终质量。
| 汇报里的指标 | 它实际测到的 | 业务方会追问的 |
|---|---|---|
| 平均生成时长 | 点击到出稿 | 审校和返工算给谁 |
| 代码补全采纳率 | 按键接受建议 | 后续调试和评审有没有变长 |
| 单工单摘要耗时 | 摘要动作本身 | 二次沟通和错误摘要谁承担 |
| 人均产出条数 | 中间产物数量 | 可交付成果和投诉率 |
用中间产物算产出,是 AI 提效汇报里最常见的水分。生成一百条文案,不如交付十条能直接投放的文案。生成一百段摘要,不如让一百张工单少一次二次沟通。指标一旦落在中间产物上,团队就会自然地优化“看起来产出了多少”,而不是“业务收到了多少”。
一类常见的返工路径是:第一版汇报只统计生成时间,数字很漂亮;业务追问后退一步,加上审校时间,优势缩小;再往后查,发现错误摘要带来二次沟通,总账几乎持平。团队不是故意造假,而是每次只看得见自己负责的那一段。
这也解释了为什么业务方经常不认账。他们不是反对提效,而是他们的报表上写着另一套东西:交付周期、投诉率、返工工时、加班时长、单位成本。你说生成快了,他们说审校没快;你说人均产出高了,他们说库存也高了。两边都没说谎,只是量的不是同一件事。
反事实基线不是拍脑袋,是一套实验口径
反事实基线,说白了就是回答“如果没有 AI,这批活会怎样”。它不能靠感觉,也不能只拿上线前后的平均数对比。上线前后,任务难度、人员、季节、优先级都可能变。要把基线做扎实,至少要固定四件事:任务定义、质量门槛、时间窗口、人员范围。
任务定义要细到同一类工单、同一种文案、同一类代码改动,不能把简单任务放给 AI,把难任务留给人工,然后说 AI 快。质量门槛要一致,AI 产出的“通过”必须和人工产出的“通过”是同一把尺子。时间窗口要避开刚上线的新鲜期和提示词调试期,否则测到的是学习曲线。人员范围要把上游备料和下游审校算进来,不然又会回到局部速度。
最硬的办法是随机分流。同一批任务进同一个队列,随机分给有 AI 和没有 AI 的两组,比较从接单到关闭的人工分钟、一次通过率和 P90 交付时长(90 分位)。这里的主指标不是生成时间,而是每件可交付成果消耗的人工时间;质量指标不是“用户有没有点采纳”,而是一次通过率和二次沟通率。小比例留出对照(holdout)跑一段时间,业务通常能接受,因为它牺牲的产出有限,换来的是可解释的账。
次一档是交错上线。A 组先用,B 组后用,在同一时间窗口里拿 B 组做对照。这个办法的麻烦在于污染:A 组的提示词会传到 B 组,B 组的心态也会变。要记录清楚,别把“大家都在用”当成“自然对照”。
再次是配对任务。找难度相近的任务,一半用 AI,一半不用。它适合任务量不大、又需要快速判断的场景,但学习效应很难完全消除。最弱的是回溯历史数据,只能做方向性参考。如果连回溯都做不了,就老实说这是案例,不是提效结论。
一张实验卡至少写清这些字段,尤其是停止规则。
1 | experiment: 客服工单摘要 |
这张卡的价值不在格式,而在事前约定。业务方最怕的是先射箭再画靶:上线后挑一个好看的指标,再解释为什么它代表效率。先写清楚“什么信号出现就停止扩量”,比事后争论口径有用得多。
业务方认的是可交付成果的账
把账算到可交付成果上,指标会变得朴素:每件可交付成果的人工分钟、从需求进入到交付的周期、一次通过率、返工工时、单位成本。人工分钟要包含生成、审校、返工、沟通和异常处理;等待时间单独看,因为它不占人力,但会拖长交付。单位成本要包含模型调用、基础设施、提示词维护、集成和事故处理。很多 AI 功能看起来便宜,是因为人工复核被算进了业务原有成本。模型调用费在总成本里往往不是大头,审校和返工才是。
还有一个经常被跳过的判断:省下来的时间去了哪里。如果 AI 把生成岗的时间省下来,但审校岗多出更多时间,公司没有省钱,只是把成本挪到了更难招聘的岗位。如果省下的时间既没有变成更多交付,也没有减少加班,还没有让人转去做更高价值的事,那它只是账面节省。业务方的报表不会因为“理论上可以省”而变好看。
我更倾向把提效分成三种可验收的结果。第一种是同样的人交付更多,前提是瓶颈不在下游。第二种是同样的交付用更少的人,前提是有人真的被释放出来。第三种是同样的投入做出更好的质量或更快的响应,前提是质量指标没有被牺牲。三种结果对应三种不同的账,不能用一个“生成速度提升”通吃。
如果审校是瓶颈,前端生成再快也只是把库存堆在队列里。这时候更有效的做法可能是先改审校规则、做抽检分层、把低风险内容自动通过,而不是继续优化生成。AI 提效的上限,往往由最慢的那个环节决定,不由最快的那个环节决定。
有些场景不该硬算总账
不是所有 AI 提效都适合做随机对照。创意类工作就是典型:AI 让团队从三个方案变成十个方案,单件时间一定变长,但决策质量可能更好。这时候拿单件耗时考核 AI,会逼团队回到只出一个方案。更合适的指标是方案采纳率、评审通过率、返工轮次,或者业务结果本身。
高风险场景也不该把速度放在第一位。法律、医疗、金融合规这类任务,快不是目标,错一次的代价太大。这里应该看风险调整后的成本:错误率、人工复核覆盖率、事故处理时间。速度只能作为辅助指标,不能作为主指标。
低频、一次性、难以配对的任务,同样没有稳定的反事实。硬编一个基线,只会得到看起来很精确的假数字。这种情况下,老老实实做案例复盘,写清楚适用条件,比强行给一个百分比更可信。
判断要不要算总账,可以先问一句:这项任务的主要瓶颈是在生成,还是在审校、审批、沟通、决策?如果瓶颈不在生成,AI 生成再快,业务也不会觉得快。如果瓶颈在生成,那就值得做基线;如果瓶颈在别处,先改流程,再谈 AI。
下次有人再报“AI 把时间从多少降到多少”,先问三个问题:基线是哪批任务,质量门槛一样吗;省下的时间落在谁的工时表上,返工和等待算了吗;如果明天关掉 AI,交付会慢多少、错多少,有没有数据能答。答不上来,就别急着把“提效”写进季度总结。先把下一批任务随机分一半出来,跑两周,再回来报数。
评论