跳至主要内容
随机负例让重排指标虚高,难负例才测得出区分度

随机负例让重排指标虚高,难负例才测得出区分度

重排模型评审会上最常见的分歧长这样:离线 NDCG@10 从 0.63 涨到 0.81,涨了近三成,线上 AB 的点击率只动了零点几个百分点,落在噪声里。做模型的同事说流量不够、实验周期太短,做产品的同事开始怀疑这个指标本身。往下追问一句评估集怎么构造的,答案往往是:每条 query 一条正例,配四条从全库随机抽的负例。

问题就出在这四条上。

随机负例把任务降级成了“相关 vs 无关”

全库几百万条内容,随机抽出来的负例和 query 的相关性基本为零。query 是“儿童登山鞋 防滑”,随机负例可能是“办公室绿植”或者“手机壳”。这种样本丢给重排模型,它要做的判断是“这条和 query 有没有关系”,而不是“这几条里哪条更该排前面”。

这两个任务的难度差一个量级。前者双塔召回加向量相似度就能做到九成以上的准确率,重排模型在这里体现不出任何增量;后者才是重排存在的理由,因为召回的 top50 里,往往有十几条都沾边,用户真正想点的可能只在前五。

所以随机负例下指标好看,不能说明重排有用,只能说明模型学会了区分“明显无关”。这个能力,上一代系统已经有了。

从分数分布上看更清楚。假设双塔相似度上正例集中在 0.7 到 0.9 这一段,随机负例有九成落在 0.3 以下,两堆之间留着一大条空档。重排模型只要在这条空档里卡一个阈值,NDCG 就上去了。而线上真正决定体验的,是 0.72 和 0.68 之间那一小段的排序,随机负例根本不进这一小段。

评估集里没有这一小段,指标就测不到这一小段。这不是模型的问题,是尺子的问题。

模型的差距,只在难负例上才显出来

给一组假设的数字,能说明敏感度问题。假设两个重排模型 A 和 B,A 是现有线上版本,B 是新训练的。在随机负例评估集上,A 的 NDCG@10 是 0.79,B 是 0.795,差半个点,结论是“没区别,别折腾”。换到难负例评估集,A 掉到 0.61,B 是 0.67,差六个点,结论反过来了。

同一对模型,两套负例,两个相反的决策。区别不在于哪个数字更“真实”,而在于哪个数字对模型差异更敏感。评估的目的不是给模型打分,是在两个候选之间做选择,那就要用能把它们拉开的样本。

评估集构成 A 的 NDCG@10 B 的 NDCG@10 差值 决策倾向
1 正 + 4 随机负 0.79 0.795 0.5 个点 看不出区别
1 正 + 4 召回难负 0.68 0.71 3 个点 倾向 B
1 正 + 4 召回难负 + 2 人工 0.61 0.67 6 个点 上线 B

这组数字是按常见量级假设的,不是某次实验的原始结果,但方向上差得不多:随机负例会把模型间差距压到半个点到一个点,难负例能放大到三到七个点,倍数在五到十倍这个量级。

顺着这个逻辑就能解释一个现象:有的团队报“新模型离线涨了 0.5 个点,决定不上”,有的团队报“涨了 0.5 个点,上了”,两个决策可能都对。如果评估集是随机负例,0.5 个点差不多是它能显示的上限了;如果是难负例,0.5 个点大概等于没动。看到数字先问它是在哪套负例上测的,比看数字本身有用。

难负例的三个来源,各有各的脏

最贴近真实分布的是线上曝光未点击。用户确实看到了,也确实没点。但它带着两个偏置:位置偏置,排在前三的东西被看到的概率远高于排在第十五的东西,后者没被点很可能只是没被看见;还有同屏偏置,一屏里如果有两条几乎一样的内容,用户只会点一条,另一条被记成负例,其实它俩都对。

粗糙一点的处理是只取前三位里没被点的做负例,量少但干净。讲究一点就上点击模型对位置做校正,代价是要多维护一套东西。

第二个来源是召回 topK 里没被点的。这批难度最高,因为它们是系统已经分不开的那一批。问题是难度高过了头就变成噪声:一条负例如果连人都判断不了它和 query 无关,那它教给模型的就是错的信号。长尾 query 尤其明显,topK 里可能全是弱相关的结果,全标成负例,模型学到的是“长尾 query 什么都不该排前面”。

第三个来源是人工构造或生成式改写。可控,能精准覆盖“差一个字但实体不同”这类边界,比如 query 是“小米电视 维修”,负例是“小米电视 安装”。代价是分布不真实,而且改写很容易造出事实错误,一条本来正确的文档被改出一个错误数字,模型学到的是识别那个数字,不是识别相关性。

下面这张图是我判断一条候选负例能不能进评估集时走的顺序。

flowchart TD
    A[候选负例池] --> B{用户是否看到}
    B -->|曝光且未点击| C[真实负例]
    B -->|未曝光| D[丢弃不用]
    C --> E{位置是否靠前}
    E -->|前三位| F[高置信负例]
    E -->|十位以后| G[疑似未看见]
    A --> H[召回 topK 未点击]
    H --> I{人能否判无关}
    I -->|能| J[难负例]
    I -->|不能| K[降噪后再用]

三种按比例混,比只用一种稳。一个我倾向的起始配比是 4:4:2,随机负例留着,但只用来做回归对比,保证模型没在新数据上退化,实际决策看后两种。

训练可以挖矿,评估集必须冻结

难度挖矿在训练阶段是对的,甚至应该激进一点,跨 batch 挖、按当前模型的分数动态挑。但评估集是另一回事。评估集一旦参与挖矿,模型就是见过答案的。

一个真实存在的泄漏路径:为了省事,把线上日志切出来的候选池直接当训练负例池,评估集也从同一个池子里抽。这样评估集里的负例,可能有相当比例在训练时作为难负例被用过。模型在这批样本上表现好,不是因为它学会了判断,是因为它记住了。这类泄漏不会报错,指标还特别漂亮,最难发现。

检查方法很土但有效:评估集冻结之后跑一遍与训练负例池的重叠检查,重叠率控制在一个百分点以下,超过就重做评估集。这个检查应该写进上线 checklist,而不是靠人记得。

还有一条容易被忽略:评估集的分布要跟着线上走,但不能跟着模型走。线上流量结构变了,比如从手机端为主变成小程序为主,评估集要重新采样;但新模型上线后暴露出的难例,不能直接补进评估集,否则下一版模型就是在自己暴露的问题上被考核,指标会一轮比一轮好看,线上不动。

标注粒度决定了评估集的上限

如果标注只有“相关 / 不相关”两档,随机负例和难负例都会被标成 0,评估集内部又没有区分度了。你费劲构造了难负例,最后一标注全变成同一个 0,NDCG 照样算不出差别。

所以难负例要配分档标注,至少三档:完全无关、部分相关(同品类但不对需求)、完全满足。四档更好,标注成本会上去。折中的做法是分档只标正例和高难负例,随机负例统一给 0,不浪费人力。

标注规范里最容易被忽略的是“部分相关”的定义。同品类的竞品算不算部分相关?信息过时但实体正确的算不算?这些边界不写清楚,不同标注员给出的档位会漂,评估集的噪声比模型的差距还大。一个可操作的门槛是:同一批样本双标,两个标注员在相邻档位上的分歧率控制在一成以内,超了就先修规范再扩量。

这件事的责任在产品,不在算法。谁定义“相关”,谁就在定义模型的目标。

随机负例在什么情况下够用

不能一棍子打死。有几种情况随机负例不会虚高。

候选池本身就小、相关性差异大。垂直站内搜索只有几百个 SKU,随机抽出来的“负例”很可能和 query 部分相关,这时候“随机”其实已经接近“难”。

冷启动阶段模型还没有能力处理难负例。先用随机负例把基本盘做起来,训练稳定了再上难负例。但这时候不要拿离线数字去汇报上线收益,它测的不是那个。

多路召回融合的场景。这时候要评估的是“召回有没有漏”,随机负例测的其实是召回质量,用 Recall@K 更合适,重排的区分度不在这个阶段体现。

反过来,如果产品形态是“用户输入一句话,系统从几十万条里挑前十条”,随机负例基本没有参考价值,因为重排的全部价值就在头部那几条的排序上。判断标准很简单:正例和负例在向量空间里是不是明显分开。分得开,随机负例就够;分不开,就得往难里挖。

下次评审先问一句

现在看一个重排模型的离线指标,我第一句会问评估集怎么构造的,负例从哪来,配比多少,标注几档。如果对方说“随机抽的,一比四”,那这个数字我会当成“模型能区分相关和无关”的证据,不当成“模型能提升线上排序”的证据。

第二个动作是要求补一组难负例,哪怕只补几百条 query,先看指标会不会掉。掉下来是正常的,掉多少才是信息:掉三五个点,说明模型在难样本上还有空间;掉二十个点,说明之前那个数字基本是假的。

最省事也最不容易骗人的做法,是从线上日志切一个时间窗做 holdout,用真实的曝光序列评估。它不告诉你模型有多好,但告诉你模型在真实分布上会不会变差,这个判断对上线决策更值钱。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#评估集 #负例采样 #重排

评论