搜索或问答评测里,最容易吵架的一类样本,是一个查询(query)本身没有唯一答案。比如“怎么把图片压到 200KB 以内”,有人给 ImageMagick 命令,有人推荐在线工具,有人说先转成 WebP。三条都能解决问题,但参考集里只放了一条。用单标签算精确匹配(exact match),另外两条全错。更糟的是,如果模型 B 恰好复述了参考答案,却漏了“先备份原图”这个条件,它反而得分。
这不是标注量不够,而是评测对象搞错了。单标签把“在一个可接受答案集合里命中”压成了“和唯一参考答案比对”。前者是集合问题,后者是点问题。点指标测集合问题,误差不会均匀地摊到每个样本上,它会系统性地惩罚那些答案不同但同样正确的模型。
单标签的误差不是随机噪声
单标签评测默认了一件事:每个 query 只有一个正类,其余都是负类。在多正确答案场景里,这个默认不成立。模型输出一个可接受的替代答案,被记为 0;模型输出参考原句但漏掉关键限制,被记为 1。离线分数和线上效果可能反向。
一个常见的返工路径是这样:离线榜上模型 A 的精确匹配比模型 B 高几个点,团队把 A 推上线,发现用户满意度没动,甚至略降。回看样本才发现,A 擅长复述参考话术,B 给出的答案更短、更可执行,但不在参考集里。单标签不是把 B 评低了,而是把“像参考答案”当成了“正确”。
如果可接受替代答案的比例只有个位数,单标签的偏差还可以靠抽样和置信区间兜住;如果这个比例到两位数,它就不是噪声,而是指标定义错了。继续加标注、扩样本,只会把系统性偏差估得更精确。
多标签先别急着补,先分清三种“多”
“一个 query 多个正确答案”这句话里,至少混了三种情况。
第一种是多答案:同一个问题有多种解法,产品接受任意一种。比如压缩图片,命令行、在线工具、换格式都能到 200KB。产品动作通常是“用户找到至少一个可用答案”。
第二种是多标签:一个对象同时属于多个类别,输出必须列全。比如一条内容同时涉及广告夸大和隐私收集,审核要两个标签都命中。产品动作是“不能漏”。
第三种是多条件:答案取决于用户状态、地区、时间或前置条件。比如“离职后社保怎么处理”,本地户籍、异地参保、是否马上入职,答案不同。这不是多个正确选项,而是几个条件分支。你把它做成多标签,标出来的是一堆互相冲突的答案。
三种“多”对应三种评测对象。多答案评的是“有没有命中可接受集合”,多标签评的是“集合覆盖得全不全”,多条件评的是“分支有没有讲清楚”。把后两种也塞进“多答案”里,标注再多也评不准。
指标定义先于标注:五个字段
在扩标注之前,先把评测写成一段可执行的规则。至少要写清五个字段:评测单位是 query 还是单条回答;什么算可接受;命中一个还是必须列全;分母包不包括无答案和拒答样本;最后按宏平均还是微平均聚合。
选指标之前,先回答产品动作是什么。下面这条判断链回答的是:产品动作到底要命中的一个,还是收全一套?
flowchart TD
A[一个 query 有多个可接受答案] --> B{产品要用户找到至少一个}
B -->|是| C[命中率或前 k 命中]
B -->|否| D{产品要求输出完整集合}
D -->|是| E[集合精确率与召回率]
D -->|否| F{产品要排序挑最好}
F -->|是| G[分级相关性 nDCG]
F -->|否| H[先回到需求定义]
C --> I[再设计标注规则]
E --> I
G --> I这张图只解决一件事:先确定产品动作,再决定指标形状。产品只展示一个答案,却用“生成十个候选里有一个对”来评,指标会奖励广撒网;产品要求列全标签,却用命中率来评,模型会只挑最有把握的那个,漏掉长尾。指标和界面不一致,离线涨分没有意义。
一个更具体的对照:
| 产品动作 | 评测单位 | 建议指标 | 常见钻空子方式 |
|---|---|---|---|
| 前 k 条里有一条可用 | query | 前 k 命中率 | 多输出候选碰运气 |
| 必选标签不能漏 | query | 集合召回加缺失惩罚 | 堆标签换召回 |
| 多个答案要排序 | query | 分级相关性排序指标 nDCG | 把弱相关标成强相关 |
| 只展示一个生成答案 | answer | 规则加人工评分细则 | 用多候选任意命中代替单答案评审 |
表格里的“前 k 命中率”不是新名词,关键是分母和判定集。分母要用全部 query,不能只用在“有标注”的 query 上,否则模型学会拒答就能把分数做高。拒答率单独报,和命中率放在一起看。
标注规则要跟指标一起写
指标定义清楚之后,标注才有地方落。多答案场景的标注不是“再找两个正确答案”,而是先定义可接受边界:事实正确但缺少关键限制,算不算可接受;答案正确但过期,算不算;回答更短但需要用户再查一步,算不算。这三个问题不写清,标注员的分歧不是能力问题,是规则没定义。
我见过的一类团队,扩标时让标注员“尽量列全所有正确答案”。结果每个人列出的集合不一样,有人按操作方式分,有人按工具类型分,还有人把“先备份”这种注意事项也当成一个答案。最后标签数量翻了几倍,标注一致性下降,指标反而更抖。问题不在标注员,在标签粒度没有对齐产品动作。两个标签如果导向同一个用户动作,就应该合并;一个标签如果对应不同处理路径,就不能为了省事合并。
多答案的标注单元建议按“可接受答案”而不是“标准答案”来写。每个 query 至少保留一个开放字段,允许标注员写参考集里没有的替代答案。这个字段很值钱,它是估计标注集召回率的唯一入口。没有它,你永远不知道模型输出的是错的,还是只是没被标进去。
一个可执行的改法:先跑小样本,再决定要不要扩标
我不会一上来就全量改多标签。更稳的顺序是:先抽一两百条有代表性的 query,让两个人独立标,第三人只做仲裁;统计三个数:单标签参考答案不唯一的比例、标注者分歧率、以及通过开放字段发现的漏标比例。如果前两个数都在个位数百分比,先把抽样和置信区间修好,别急着扩标;如果漏标比例到了两位数,说明可接受答案集本身没建起来,这时候扩标才有意义。
扩标时也别只加标签,要同时改三件事:判定规则、分母口径、报告切片。判定规则写进标注手册,最好能落到一段配置里;分母把拒答、无答案、超时分开;报告按 query 类型切片,别让头部高频 query 把长尾的漏报盖住。
可以用一段很短的评测配置把规则固定下来:
1 | unit: query |
这段配置里没有“多标签”三个字,但它比“把参考答案从一条改成三条”更能约束评测。acceptable 定义的是判定边界,denominator 防止拒答刷分,label_set_recall 提醒你标注集可能不全。真要扩多标签,再在这个骨架上加 required 和集合召回,不会跑偏。
边界:什么时候单标签反而够用
多答案不是所有场景的默认答案。标签天然互斥、产品动作只允许一个结果时,单标签更便宜也更稳。比如一个工单只能进一个处理队列,或者一个内容只能走一条审核策略,这时候硬做多标签,只会把责任边界搅浑。
另一种不该扩标的情况,是“多个答案”其实只是措辞不同。用户问“怎么退款”,答“在订单页点退款”和“进入订单详情申请售后”,是同一个操作路径的不同说法。这种先做答案规范化或语义判定,不要上多标签标注。标注体系是给产品决策用的,不是给同义词建词典。
真正需要改指标的信号,不是“参考答案看起来不止一个”,而是“可接受替代答案已经影响到模型选择”。如果两个模型在单标签下差距很小,换成命中率后排序翻转,或者线上用户成功率与离线分数对不上,才说明评测对象错了。先改指标定义,再补标注,顺序反了,通常只是把一套更贵的错标法做得更精细。
下一次看到评测集里出现第二个正确答案,先别打开标注平台,先问一句:产品到底要用户命中一个,还是收全一套?
评论