重排模型上线评审,离线 nDCG@10 涨了两个多点,A/B 跑满两周,成交率曲线在零附近抖。会议室里通常有两种声音:一种说这个指标就是自娱自乐,另一种说再攒两周流量就显著了。两种结论的处置完全相反,一个要换指标,一个要加样本,但很多团队在没分清之前就先动了模型。
先把两件事拆开:nDCG 和业务指标之间到底隔了几层,每一层错位长什么样。拆完你会发现,大部分“指标骗人”其实是指标用错了场景,一小部分是实验设计根本测不出来。
折损曲线不是你的用户的
nDCG 的标准形式是每个结果的增益除以一个随位置变缓的折损系数,再对理想排序做归一化。折损来自 log2(1+位置),位置一到五的系数大致是 1.00、0.63、0.50、0.43、0.39,第十位是 0.29。
这个形状的意思是:排在第十位的一个好结果,还值第一位的三成。它诞生于用户会浏览整页甚至翻页结果列表的年代,评估的是长文档列表的排序质量。搁在单列信息流、搜索首屏只露三条、对话式推荐只给一个答案的场景里,它明显过于乐观。
反过来也成立。业务上第一位和第三位的点击率差距经常是三五倍,nDCG 只记为两倍;而第三位和第八位在业务上可能都是零,nDCG 差了将近 0.19。两个方向的偏差会互相抵消,也可能叠加,取决于你的场景,所以笼统说“nDCG 高估”或“低估”都没意义。
一个可操作的做法:把近四周同场景的曝光和点击按位置聚合,画出位置一到十的点击率,再和 log2 折损曲线画在同一张图上。两条曲线形状差得远,说明这个指标排出来的序和你业务上在乎的序不是一回事。注意点击率本身带位置偏差,比较形状够用,真要拿来做权重得靠位置随机化实验去偏。
归一化的分母,让 nDCG 只在同一候选集里成立
nDCG 的分母是同一批候选的理想排序得分。这句话里“同一批”三个字最容易被忽略。
召回从双塔换成双塔加向量,候选池里多了几百个高相关但长尾的商品,理想排序的分数抬高,nDCG 反而可能掉。工程上完全正常,汇报上是灾难:你做了正向改动,指标是负的,然后有人为了让报表好看,悄悄回滚了召回。
第二个后果是跨版本不可比。上周的 nDCG 和这周的放在一张趋势图上,前提是候选集没变、标注集没变、折损函数没变,破一个这张图就是假的。
我的用法是让 nDCG 只在固定候选集、固定标注集的实验里出现,专门评估排序层,不进周报也不做跨迭代累加。要一个能进周报的绝对量纲指标,得自己定义。这不是 nDCG 的缺陷,归一化本来就是为了消掉 query 之间的难度差异,让不同 query 能平均到一起去。问题在于很多人把它当业务指标在用。
平均值掩盖了增量从哪来
nDCG 按 query 平均或按曝光加权平均,业务看总量。分布不均时这两个统计方式一定会分叉。
头部 query 占了大半流量,排序早就饱和,从 0.92 再往上一点极难;长尾 query 可能只有 0.5,随便改改就能涨五个点。如果评估集按 query 平均,长尾的进步会把总体拉上去,但长尾可能只贡献个位数百分比的成交。平均值还会把“某类 query 涨三个点、另一类跌两个点”压成一个正数。
判据不复杂:把离线增量按流量分层拆开,看涨的那部分 query 在线上贡献多少曝光和成交。八成的增量来自只占一成曝光的尾部,那离线涨、线上不动就是预期结果,不是指标坏了。
一个 query 内的可加性,掩盖了会话级的浪费
nDCG 还有一层假设:每个结果的增益独立可加。排三个几乎一样的商品,只要每个都相关,就能拿满分。
用户在会话里看到的却是重复。第二个的信息增量很低,第三个基本是浪费曝光。这在商品、短视频、新闻这类供给同质化高的场景里极其常见,模型很容易学出“堆同类高分 item”的策略,因为它确实能把 nDCG 拉满。业务端看到的则是点击集中在第一个、后面几个零点击、用户逛得更短。
所以优化 nDCG 时如果不挂 guardrail,模型一定会朝这个方向漂。至少要盯三个数:同屏类目重复率、单一供给方占比、探索流量的曝光比例。这三个不设阈值,排序指标越好看,业务的多样性越差。
编辑打的 3 分不是用户的 3 分
增益从哪来,这是最容易被含糊过去的一层。多数团队用人工按 guideline 打的相关度档位,0 到 4。这套东西有三个具体问题。
中间档最不稳。“部分相关”这一档在不同标注员之间的一致性经常只到中低水平,而 nDCG 里的指数增益会把它放大:2 分对应增益 3,3 分对应增益 7,一条标签判错,分数差出一倍多。
上下文缺失。标注员看到的是一条 query 加一条结果,看不到用户的价格敏感度、历史行为、库存状态。同一个商品对不同用户的相关度不一样,标签只有一个值。
未标注一律当零。新上架、新入库的 item 没进标注集,增益直接记 0,nDCG 系统性惩罚它们。系统越优化越保守,新品拿不到曝光,业务端要的新鲜度和供给多样性自然不动。这不是模型的问题,是评估集覆盖的问题。
还有一种更隐蔽的:标签来自点击日志。老排序把某个结果排前面,它拿到了点击,标签就认为它相关,新模型学的是复现老排序,位置偏差被固化进训练目标。要无偏就得用随机化曝光或交换位置的数据。
对齐口径:把增益换成钱,把折损换成实测曲线
如果排序层要背业务指标,指标本身就得带业务量纲。三步,但每一步都要有人签字。
第一步,用日志估折损。位置一到十的曝光概率,最好来自随机化实验,退一步用交换位置的 pairwise 数据估。
第二步,把增益从相关度档位换成期望价值:这个 item 在这个场景下的期望成交额、期望停留时长或期望广告收入。按类目、价格带、用户分层分别统计,别用一个全局均值糊上去。
第三步,去掉归一化,直接用绝对值,比如每千次曝光的期望成交额。绝对值受候选集和流量结构影响,但好处是能和业务盘子对账,跨版本也可比。
1 | metric: value_dcg_at_10 |
写成这样的指标涨了之后还有一个对账动作:把增量折算成钱,看和 A/B 里成交额的变化是否同向、量级是否接近。value-DCG 涨三个点,折算出来是每月几十万,而 A/B 的成交额纹丝不动,那要么折算系数错了,要么这个改动实际影响的流量占比太小。
顺便说一句责任边界:增益怎么定义是产品决策,排序工程师只能在给定增益下做优化,替不了业务决定什么算有价值。这条不写进文档,每次指标对不上都会退化成模型和业务互相说服,而不是一起查口径。
也许只是样本不够,先算一笔账
不是所有“业务没动”都是指标问题,有一大类是功效不足。
成交率基线 3%,想检测 0.5% 的相对提升,也就是从 3% 到 3.015%,双尾 5%、功效 80%,每组大概要 16 乘 0.03 乘 0.97 再除以 0.00015 的平方,算下来两千万 UV 上下,两组四千万。对日活几十万的产品,这是几个月。
nDCG 完全不是一个成本量级:逐 query 计算,几千到几万条标注 query 就能分辨 0.5 个点的差异。所以“离线先动、线上后动”是结构性的,不代表指标失真。
判据是先算最小可检测效应。如果它大于你预期的业务提升,这个实验设计本身就出不了结论。可选的动作有三个:只在高价值人群或高影响场景做实验以抬高效应量;把实验单位从 UV 换成 session 或 query,牺牲部分独立性换方差;接受用代理指标决策,但把风险和回滚条件写清楚。
最后这条在实操里最常见。用代理指标决策不是问题,问题是没人写下“代理指标涨到什么程度、业务指标跌到什么程度就回滚”。
反向实验:先证明业务指标对这个系统敏感
一个成本很低但经常被跳过的动作:故意打坏排序。把前十随机打乱,或者把第一位固定替换成低价值商品,跑百分之一到百分之五的流量,看业务指标动不动。
打乱之后成交率不动,说明要么埋点有问题,要么这个位置的排序对业务真的没影响,比如用户根本不看这个模块。两种情况下都不该继续优化 nDCG。
边界要说清楚:它能证明敏感性存在,不能证明敏感度足够。打乱能测出大跌,测不出 0.2% 的微涨。但它至少能排掉“观测坏了”这一类,而这一类在事故里占比不低。我倾向把反向实验写进上线 checklist,每次大改排序前跑一次,几百到几千个 session 就够看出方向。
三层指标各管一段
| 层级 | 典型指标 | 方差 | 用途 |
|---|---|---|---|
| 排序质量 | nDCG、MRR | 低 | 模型迭代、快速筛方案 |
| 用户行为 | top3 点击率、翻页率、改 query 率 | 中 | 验证改动被用户感知 |
| 业务结果 | 成交率、每千次曝光成交额、退款率 | 高 | 最终决策 |
三层的错位方式不一样,所以排查顺序也不一样。nDCG 涨、行为层不动,改动多半落在用户不看的位置,或者折损函数本身就是错的。行为层涨、业务层不动,问题在增益定义:排序把用户引到了不成交的商品上。业务层也不动,先回到样本量和反向实验。
flowchart TD
A[nDCG 涨业务没动] --> B{候选集或标注集变了吗}
B -->|变了| B1[重算离线基线]
B -->|没变| C{增量主要来自哪层流量}
C -->|长尾为主| C1[接受离线线上脱节]
C -->|头部为主| D{业务指标 MDE 够小吗}
D -->|不够| D1[加样本或换实验单位]
D -->|够| E[跑反向实验]
E --> E1{业务指标大跌吗}
E1 -->|不动| E2[先修观测和埋点]
E1 -->|大跌| E3[指标口径错位 重定义增益]下次离线指标涨了而业务没动,按顺序问三句:候选集和标注集变了吗;增量来自哪一层流量;业务指标的 MDE 和预期效应量对得上吗。三个都过了还是不动,再怀疑指标本身。这个顺序别反过来,因为最贵的错误是先改指标,把一个本来正确的排序改动回滚掉,然后花半年重新做出同一个东西。
评论