跳至主要内容
补全看接受率,评审看漏报率

补全看接受率,评审看漏报率

给代码助手加“提交前自动评审”,最常见的做法是把补全那个模型换个 prompt 直接用。上线一段时间后,评论列表里大半是命名风格和空行建议,真正会让服务挂掉的那处空指针一次都没被提出来。团队的第一反应是 prompt 写得不好,改了几版提示词,风格挑刺少了,漏报一点没少。

问题不在 prompt。补全和评审看起来都是“处理代码”,实际是两个方向相反的任务:一个在有无数种正确答案的空间里采样,一个在只有“过”和“不过”的空间里做判决。把它们当成同一种能力、用同一套指标衡量,是这类功能做不深的根因。

两个任务的输入输出,差得比想象中远

补全的典型形态是:光标前几千 token、光标后一小段、偶尔一点跨文件上下文,输出几十个 token。用户按 Tab 就接受,不按就消失。这个交互里错误是可以撤回的,撤回成本近乎为零,所以补全模型可以大胆猜,猜错的最大代价是多按一次 Esc。

评审不是这样。输入是一个 diff,加上被改函数的调用方、类型定义、相关测试。输出要包含三样东西:这段改动有没有问题、问题在哪一行、严重到什么程度。用户不会立刻验证,尤其当问题是并发竞态或者边界条件时,验证要等到线上。错误也不能撤回,代码合进主干之后再回滚,成本是补全的几百倍。

维度 补全 评审
训练信号 无标注代码,自监督 缺陷、修复、评论三元组
输出空间 开放,多种写法都对 收敛,判决加定位
延迟预算 百毫秒级 分钟级,可异步
错误代价 用户不采纳 进入主干后回滚
主要指标 接受率、留存 漏报率、误报率、有用率

延迟这一行常被忽略。补全要求百毫秒内出结果,评审在 PR 提交时异步跑,几分钟都能接受。这个差距意味着两边根本不该共用同一个部署:补全用小模型加本地缓存,评审用更大的模型加跨文件检索,是合理得多的配置。

flowchart LR
    subgraph A[补全链路]
        direction LR
        A1[光标前后文] --> A2[小模型 低延迟]
        A2 --> A3[接受率与留存]
    end
    subgraph B[评审链路]
        direction LR
        B1[diff 与跨文件上下文] --> B2[大模型 异步运行]
        B2 --> B3[漏报率误报率有用率]
    end

生成偏好常见写法,缺陷恰恰藏在常见写法里

这是“生成与判别不对称”最具体的一层。

自回归模型优化的是似然,它给“读起来自然”的代码打高分。而真实缺陷里有很大一部分,恰恰是最常见写法的边界失效:循环少了一次、集合可能是空、异常被一个宽泛的 catch 吞掉、没考虑时区、双检锁漏了 volatile。这些代码在语法和风格上都极其正常,模型给它们的概率很高,因为训练集里就是这么写的。

所以拿补全模型的 token logprob 去给代码打分,方向经常是反的。有一种常见做法是,把每行的平均对数概率当作风险分,越低越可疑。跑出来的结果是对格式古怪但逻辑正确的代码亮红灯,对写得规整、只是漏了判空的那段一路绿灯。相关性和人工判断基本对不上。

判别模型需要的东西叫校准:说“这里七成概率有问题”,实际就该有七成。这需要专门的训练信号,通常是“指出问题、给出修复、用测试验证修复”这类数据,而不是预测下一个 token。先让模型写修复再判断,比直接让它判断,召回一般会高一些,代价是多一轮生成和几百毫秒到几秒的延迟。评审是异步的,我更倾向付这个代价。

评审的数据,比补全贵一个量级

补全的训练数据是白送的:开源代码、内部仓库,挖个洞就能训。评审没有这个便利,它需要(有缺陷的代码,缺陷位置,正确写法)这样的三元组。

现实里能拿到的来源就两类。一类是 PR 上的 review comment,带着行号和理由,质量高但稀疏,而且带强烈的评审者个人偏好,有人爱挑命名有人只看逻辑。另一类是合并之后短时间内同一文件被后续 commit 修掉的那几行,这是弱标注,便宜、量大,但噪音也大:重构、需求变更、格式化都会被算进去。

这两类数据有一个共同的坑,把“合并”当成“无缺陷”。一个 PR 被合了,不等于它没问题,只等于没人看出来。如果拿合并记录做负例,模型学到的是“没人评论过的代码是干净的”,而漏掉的恰恰是那些没人看出来的部分。这个偏差会自我强化:模型越弱,负例越脏;负例越脏,模型越弱。

人工标注的规模门槛,大致是几百条能看出趋势,想比较两个模型的高低,没有几千条不可靠。差距在五个点以内的时候,先怀疑标注一致性,别急着换模型。

一个最小可用的评测集长这样:

YAML7 行
1
2
3
4
5
6
7
cases:
- id: pr-1043-null-check
expect: { verdict: block, lines: [42, 43], severity: major }
- id: pr-1102-clean-refactor
expect: { verdict: pass, false_positive: 0 }
- id: pr-1108-style-only
expect: { verdict: pass, note: 只允许 nit 级 }

第三类样本最容易被忽略。只放“有 bug 的 PR”去测,等于只考了一半。

只测召回,模型很快学会什么都报

这是评审模型最典型的退化方式,而且在指标上看起来很美。

如果只统计“注入的缺陷被抓到了多少”,一个每次都说“这段有问题”的模型能拿到接近满分的召回。它的误报率同样是 100%,但看板上只有召回。

所以评测必须成对:注入缺陷的召回,加上干净 PR 上的误报条数。后者建议按“每个 PR 的平均误报数”来算,比百分比直观,因为产品里开发者感知的就是“这个功能每次都要挑三条毛病”。三条这个量级,基本就是被关掉的临界点。

定位要单独测。只判“这个 PR 有问题”而对不了行的模型,在产品里几乎没用,开发者需要跳过去看。定位可以按“是否命中被修改行附近 N 行”来算,N 取 3 到 5 都行,具体看 diff 的大小分布。

严重度也要分开算。把 nit 和 blocker 混在一起统计准确率,等于自己骗自己:模型把 blocker 降级成 nit,你损失一次拦截;把 nit 升级成 blocker,你损失的是信任。这两类错误在产品上不是一回事。

线上的唯一有效指标,是评论被采纳并真的改了代码的比例。评论数不是,评论数只反映话多不多。

规则能测的,别交给模型

这条边界比模型选型更影响体验。

空指针、资源未释放、类型不匹配、明显的越界,这些静态分析和类型检查能覆盖的,交给规则。规则便宜、确定、零误报,而且解释得清楚。模型的优势区间在规则写不出来的地方:命名和语义对不上、错误处理的策略是否合理、这个抽象是不是多余、注释和实现对不上、这次改动和周边模块的约定冲突。

我的判断是,评审模型应该定位成“资深工程师的第二遍扫视”,不是守门人。守门人是 CI。让它做守门人,等于把不可撤回的错误交给一个概率系统。

架构层面的问题,比如这个模块该不该存在、这个依赖方向对不对,目前的模型基本给不出可用判断,硬上只会制造噪音。这部分我还没有看到靠谱做法,宁可空着。

同一个基座可以,评测不能共用

回到最初的问题:这是两种能力吗?

我的答案是,能力上有重叠,评测上必须分开。同一个基座模型可以同时做这两件事,但后训练数据、上下文装配、阈值、指标,四样都得分开。

上下文装配的权重比很多人以为的大。评审需要跨文件召回调用方和类型定义,这部分做不好,换个更强的模型也补不回来。补全需要的是低延迟和本地缓存,和检索基本无关。两条链路的瓶颈在不同的地方,用同一个分数去比较它们的模型版本,本身就没什么意义。

有一条判据可以拿来决定某个功能要不要独立评测:

  • 输出空间是否收敛,是判决加定位,还是自由文本
  • 错误是否可撤回,是用户不采纳,还是进主干后回滚
  • 有没有可核对的反馈标签,比如 PR 评论、后续修复 commit

三条都指向判别侧,就老老实实建一套独立的评测集,别拿补全的接受率当代理指标。

下次升级模型,先把评审的评测集跑一遍再决定换不换。这两条曲线经常是分叉的:补全涨了几个点,评审可能一点没动,甚至因为新模型更“敢写”而误报变多。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#代码评审 #模型评测 #生成与判别

评论