“审核放前面还是后面”,这个问题在评审会上经常被压成一句话:越早越安全。真把审核点画到链路上,这个结论只对了一半。前面能拦住的东西更少,后面能补救的东西更少,两个“少”不是同一件事。
一个常见场景是 AI 生成商品文案或营销素材。团队一开始安排人工全量过一遍再发,质量确实稳。量涨上来之后,审核队列从小时级排到天级,运营开始申请加急通道,而加急通道的实际含义是免审。事后复盘,大家说“审核执行不到位”,但真正的问题是审核点被放在了产能最紧的那一段。
审核点不止两个位置
把一条生成链路摊开,人审可以挂的位置至少有五个:用户输入进来时、语料进检索之前、模型要调工具或发请求之前、内容对外发布之前,以及发布之后靠举报和抽检。这五个位置拿到的信息不一样,能做的判断也不一样。
入口审看到的是用户的一句话,看不到模型会怎么理解、会引用哪段语料、最终写成什么样。语料审看到的是静态文档,不知道它会被用在哪个问题下、被谁看到。动作前卡口知道接下来要发短信、要扣款、要调外部接口,但不知道正文写得体不体面。发布前终审能看到成品,可这时候改的成本最高,退回意味着整条链路重跑一遍。
所以“前端还是后端”这个二选一本身就有问题。真正要定的是:这个判断需要哪些信息才做得准,这些信息在哪一步才齐。如果审核需要的信息到出口才齐全,硬把它放在入口,审核员只能靠猜,猜的结果一定是保守拒绝。
有一种常见的做法是把审核点尽量往前提,理由是“早发现早处理”。这个理由在一种情况下成立:问题一旦产生就没有中间状态,比如一条错误的短信发出去就收不回。在其余情况下,往前提省下的不是成本,是把成本从事故赔偿换成了人力流水线,而这条流水线会随流量线性增长。
前置审的是能不能做,后置审的是做得好不好
这个区分我认为比较硬,也比较少被说清。
前置审核擅长判“这件事允不允许发生”:这个类目能不能投、这个客户有没有资质、这句话里有没有不能出现的承诺、这个金额有没有超过限额。这些判断的共同点是有明确依据、可枚举、不依赖最终文案长什么样。审核员看一眼规则就能给结论,拒绝理由能写成一句话。
后置审核擅长判“做出来的东西行不行”:语气对不对、有没有夸大、有没有踩到当下的舆情、跟渠道调性合不合。这些判断需要看成品,甚至需要知道它出现在哪个位置、给谁看。你没法在一句用户输入里判断最终文案会不会写得像虚假宣传。
把后置才能判的问题挪到前置,审核员就在信息不足的情况下做决策。他看到一句“帮我写个促销文案”,不知道最终会写成“限时三天”还是“全网最低价”,只能按最坏情况处理。误杀率上升,业务方开始抱怨“什么都不敢过”,然后出现绕行。
反过来,把前置就能判的问题放到后置,等于让审核员在事故已经发生之后再去发现。这时候能做的只有撤回和道歉。有些团队把资质校验、敏感词、价格一致性这类硬条件放在发布前终审,看起来很严谨,实际上是让一个人去做机器几毫秒能做完的事,还把延迟拉长了。
越靠前的审核,误杀越贵
误杀的成本很容易被低估,因为它不出现在事故报表里。它表现为:运营把方案改得越来越空、越来越模板化;业务方私下走线下流程;审核被当成流程上的一个章,盖章的人自己也不信。
机制是这样的:前置审核拿到的诊断信息太少,审核员没法判断“这条到底会不会出事”,只能按最坏情况处理。当拒绝的理由无法被证伪时,被拒的人也没法申诉,久而久之就不申诉了,直接绕开。绕开的方案没有记录,也就没有事故数据,于是报表上一切正常。
我倾向的判断是:前置审核只应该拦“有明确依据的硬条件”,凡是需要解释、需要看上下文、需要权衡的,都不该放在前置。前置审核的职责越窄,它越能长期活下去。一个可操作的检验方法是看它的拒绝理由能不能写成一句话,且这句话里不需要出现“我觉得”。写不出来,就说明这个判断不该在这一步做。
这也解释了为什么很多前置审核最后会退化成白名单:不是因为审核员懒,是因为在信息不足的位置上,白名单是唯一能自洽的做法。而白名单一旦成型,新业务、新品类、新表达方式全被挡在外面,产品也就没法长了。
越靠后的审核,会被产能压垮
后置审核的问题通常不是不认真,是排队。
给个量级。一条两三百字的文案,熟练审核员看一遍大概几十秒,加上记录、沟通、返工,按分钟计。日生成量在几百条时,一两个人能扛;到几千条,就是几个人全职;再到几万条,全量人审在经济上直接不成立。
量涨上来之后,通常发生三件事,顺序基本固定。队列变长,延迟从分钟级走到小时级;业务方开始申请加急;加急通道挤占正常队列,最后所有人都走加急。加急等于没有审核。
这个失败路径的隐蔽之处在于,看板上审核量是满的,通过率也正常,只有端到端延迟在悄悄变长。等真出事,回溯会发现出事的那条走的是加急,而加急的审批记录往往只有一句“业务紧急”。
所以后置审核必须配一个明确的容量上限和降级规则,而不是“尽力审完”。比如队列积压超过两小时,自动从全量降到抽检,同时向业务方发告警,让所有人知道当前的保障等级下降了。这条规则要提前写死,不能在积压的时候临时商量,因为那个时候所有商量都是“这次先过”。
我的默认分法
这十年我跟过的审核链路,大部分问题不是审得松,是审的位置不对。现在让我从零设计,会按三个问题依次过一遍。
先看错误发生后能不能撤回。发短信、发邮件、扣款、对外发布、调第三方接口,这类动作一旦发生就收不回,前面必须有人卡口,哪怕慢,哪怕量上不去。内部草稿、可回滚的推荐位、用户可以一键撤回的回复,事后补救成本低,人审可以往后放,甚至只做抽检。
再看判定需不需要完整上下文。需要看成品、看渠道、看受众的判断,必须放在出口附近。不需要上下文的,往前提。
最后看能不能写成规则。能写成规则的前置给机器,零延迟、零人力、可解释;写不成规则但模型能判的,交给模型打分,人只看低置信度那一段。这里有个容易失控的地方:如果模型不确定的比例长期在三成以上,说明判定标准本身没定义清楚,加人只是把模糊的标准转嫁成人力。
flowchart TD
A[审核点要判什么] --> B{错误能撤回吗}
B -->|不能| C[放在动作之前 人卡口]
B -->|能| D{判定需要完整上下文吗}
D -->|需要| E[靠近出口 人审加抽检]
D -->|不需要| F{能写成规则吗}
F -->|能| G[机器前置]
F -->|不能| H[模型判定加人审灰区]还有一笔账要单独说:不要用期望值给审核点算总成本。审核事故的成本不是均值,是尾部。一次监管沟通或者一次舆情,能覆盖好几年的审核人力,但这个概率估不准,估出来的期望值只是在自欺。我的做法是分开算:不可逆的动作按最坏情况决策,看的是“最坏能坏到什么程度我接不接得住”;可逆的动作按期望决策,算出抽检比例和兜底成本就行。混在一起算,结论一定偏向省钱的那一边。
下面这张卡是我现在会填的最小版本,填不满就说明这个审核点还没想清楚。
1 | audit_point: 发布前终审 |
别拿通过率考核审核
通过率是最容易被拿来考核审核团队的指标,也是最容易把审核做坏的指标。原因很直接:通过率完全由审核员自己控制。要它高,放宽就行;要它低,收紧就行。它跟“外部有没有出事”之间没有稳定关系。
我更倾向看四个数。漏放率,靠事后抽样和举报反推,虽然估不准,但趋势有意义;误杀率,被拒样本里复核为可放行的比例,这个数高说明审核点放错了位置,不是审核员能力差;单条审核成本,要算上看的时间、沟通和返工,不能只算看;端到端延迟,从生成到可发布,P50 和 P95 都要看。
四个数里延迟最容易被忽略,也最先出问题。因为延迟变长不会报警,只会让业务方开始找捷径,而找捷径的动作通常不会写进任何文档。
有些位置不该设人审
有三种情况我会直接砍掉人审,而不是优化它。
可撤销且影响面小。内部文档、草稿、能一键撤回的回复,人审的边际价值很低,反而拖慢反馈速度。这类场景正确做法是把撤回和追溯做好,不是加一道人眼。
有强下游兜底。用户能举报、客服能补偿、平台能下架,这些机制本身就在承担审核职能,人审只是其中一层。下游兜底足够强的时候,再叠一层前置人审,收益主要落在心理上。
人审会扩大数据暴露面。前置审核意味着原始输入要被人看到,可能是用户的隐私内容,可能是还没脱敏的合同。有些团队为了“更安全”把审核提到最前,结果是把敏感数据扩散给了更多人。这笔账很少有人算,但它真实发生。后置审核可以只看脱敏后的成品,暴露面小得多。
审核位置决定谁有权力
组织层面还有一个后果,很少在设计阶段被讨论。审核放在前面,审核团队掌握的是准入权,他们会本能地要求更多拒绝权、更多规则、更多白名单;审核放在后面,他们掌握的是发现权,会要求更多自动放行、更快闭环。两种位置会长出两种团队性格,也决定了谁能改 prompt、谁能改策略、谁的话在评审会上更重。
责任边界跟着变。前置卡口是谁批的谁负责,出了事能追到具体的人;后置抽检是抽样发现的,没抽到的等于没有责任人。这不是说后置不好,而是说后置必须配一套明确的责任约定,否则出事之后一定会陷入“系统没拦住”和“人没看出来”的互相推。
下次评审有人提“加一道人审”,可以先问三个问题:这道审核要判的是能不能做,还是做得好不好;它需要的信息在这一步齐不齐;队列积压时降级成什么。三个问题都答不上来,加的不是审核,是一段延迟。
评论