跳至主要内容
软标签蒸馏:教师的长尾错误会被成倍放大

软标签蒸馏:教师的长尾错误会被成倍放大

把一个 7B 教师蒸到 1B 学生,离线 top-1 涨了两个点,上线后低频类目的投诉却多了。团队第一反应是学生容量不够,或者线上数据分布变了。更常见的原因在教师那一边:学生在软标签里学到的不是“正确答案”,而是“教师怎么看这个世界”,包括教师看错的部分。

离线涨点,长尾掉点,这个反差很常见

一个常见的蒸馏流水线是这样:教师在一个大语料上打软标签,学生在软标签和少量硬标签上联合训练,损失函数一边对齐教师的概率分布,一边对齐真实标签。离线评测看总体 top-1,涨了,大家就认为能力搬过去了。上线后,头部类目确实更稳,尾部类目开始出现一些说不清的错。

问题出在评测口径。假设头部样本占九成,软标签让学生涨了两个点;尾部占一成,掉了八个点。总体仍然是正的:0.9×2 + 0.1×(-8) = 1.0。报表上是一个正数,尾部用户感受到的是另一回事。团队继续调温度、加数据、换更大的学生,头部继续涨,尾部继续掉,因为优化的方向从一开始就没对准。

这类返工有一个很典型的路径:先怀疑学生容量,再怀疑数据量,最后才去切片看教师。切片一看,学生在教师做错的那些样本上错得更一致,甚至把教师的错误答案当成了第二候选。硬标签基线在这些切片上反而更好。到这一步,问题就不是“学生没学会”,而是“学生学得太像”。

软标签把错误从一个点变成一片区域

硬标签只告诉学生什么是对的。一张图里是猫,标签就是猫,模型把另外九百九十九类都往下压。软标签不只给猫,还给“狗 0.2、狐狸 0.05、其余接近零”。这些非零项里有一部分是教师从数据里学到的类别相似结构,通常叫暗知识;另一部分就是教师的错误。

看损失函数更清楚。对学生输出 q、教师分布 p_T,蒸馏项是:

L = -Σ p_T(c) log q_S(c)

对某个类别的 logit 求梯度,方向大致是 q_S(c) - p_T(c)。如果教师在一个错误类别上给了 0.3,学生当前只给了 0.1,梯度就会把学生的这个错误类别往上推,推到接近 0.3 为止。硬标签下,这个类别的目标是 0,梯度方向相反。同一个错误答案,在软标签里不是噪声,而是一个有明确权重的监督目标。

所以“教师错误会在训练中被平均掉”这个说法,只在很窄的条件下成立:错误要足够随机、方向要对称、学生没有足够容量去记住它。长尾样本恰好三条都不满足。教师在一个罕见类上犯错,往往不是随机的,而是缺少证据、标签偏差或者学到了伪相关。同一个混淆对会反复出现:这个稀有动物总被认成近亲,这个少见故障总被归到常见故障。学生看到的是一组稳定的、带梯度的错误分布,学到的是一条平滑的错误边界。

硬标签的错误是一个点,软标签的错误是一片区域。这就是放大发生的地方。学生不是在某个样本上偶然错一次,而是在教师划错的那片区域里,把教师的判断当成了可泛化的规律。

这套逻辑在大模型 token 级蒸馏里同样成立。教师对罕见实体、格式 token 的偏好,会以 top-k logits 的形式传给学生。学生学到的不是某个 token 对,而是教师在不确定位置上的整个排序。教师如果总把某个罕见实体拆成常见子词,学生也会学会这种拆法,而且会因为软标签的平滑性把它推广到相邻上下文。

温度不是放大器,校准才是

很多团队遇到长尾变差,第一反应是调温度。温度确实会改变软标签的形状,但它不是一个单向的放大器。温度改变的是分布的陡峭程度,不是教师的错误率。高温把分布拉平,更多类别拿到可比较的权重,暗知识和错误一起被摊开;低温逼近 argmax,如果教师在这个样本上的 argmax 本来就是错的,低温只是把一个错误的软分布变成了一个错误的硬标签。两头都不安全。

更关键的是,温度是一个全局参数,错误结构是局部的。你在总体验证集上搜到一个让 top-1 最好的温度,这个结果大概率由头部样本决定。尾部样本在同一个温度下,可能正好落在错误被放大的区间。用一个全局温度去服务所有切片,等于假设教师的错误在各类别上同分布,这个假设通常不成立。

比温度更值得看的是校准。softmax 输出的数值不是天然的概率,教师说自己 0.9,不代表它有九成把握做对。一个在尾部类目上过度自信的教师,是最危险的教师:它错的时候不是犹豫地错,而是把错误类别给到很高的权重。学生收到的信号不是“这里不确定”,而是“这里很确定,只是答案不是硬标签那个”。

均匀的 label smoothing 也往错误类别上加概率,但它是均匀的、幅度小的,学生容易把它当正则项。教师的软标签是结构化的,错误集中在特定的混淆对上,学生更容易把它当规律。两者看起来都是“不那么硬的标签”,风险完全不一样。

集成教师也一样。把几个教师的分布平均,能降低一部分随机错误,但在长尾上,几个教师可能各自错向不同的近邻类,平均之后得到一个没有任何教师真正相信的分布。学生学到的是一种“这些类都差不多”的模糊判断,听起来像不确定性,实际上是错误的集合。

哪些软标签能留,按切片决定

是否使用软标签,不该是一个全局开关。更稳的做法是按切片逐层判断,把“教师可能错得很自信”的样本拦下来。

flowchart TD
    A[样本进入蒸馏] --> B{该切片有校准集}
    B -- 否 --> C[硬标签或人工]
    B -- 是 --> D{教师准确率达标}
    D -- 否 --> C
    D -- 是 --> E{教师置信度高}
    E -- 否 --> F[降权或硬标签]
    E -- 是 --> G{与学生判断冲突}
    G -- 是 --> H[人工抽检]
    G -- 否 --> I[使用软标签]

四道门

第一道门是校准集。没有某个切片的校准集,就不应该在这个切片上开软标签,因为你不知道教师在这里的错误率和置信度是什么关系。很多团队有总体校准集,却没有按类频、按业务场景切开的校准集,结果就是全局看起来校准得不错,尾部完全失控。

第二道门是教师在这个切片上的准确率。软标签值得用,前提是教师在这个切片上确实比学生强,而且强得稳定。教师只比学生高一点点,或者两者在同一家族模型上微调出来,软标签更多是在传递共同的偏差,不是能力。

第三道门是置信度。教师不确定的时候,软标签里的非零项主要是噪声。可以把这些样本降权,或者直接退回硬标签。这里要注意,置信度阈值不能拍脑袋定,要在校准集上看“高置信错误率”。如果教师在自己做错的样本上仍然给出很高的置信度,这个切片就不适合软标签。

第四道门是学生和教师的冲突。冲突不一定是学生错,但在长尾切片上,它值得人工抽检。学生如果坚持一个和教师不同的答案,可能是学生从硬标签里学到了教师没有的信号,也可能是学生的错误。抽一批看混淆对,比继续调参有用。

还有一个容易被忽略的变量是容量差。学生太小,软分布学不动,教师的暗知识传不过去;学生太大,又会把教师的错误记得更牢。容量不是越大越好,要和门控一起看。

一个可落地的门控模板

YAML9 行
1
2
3
4
5
6
7
8
9
distill_policy:
default: soft
require_slice_calibration: true
slices:
tail_rare:
condition: 样本量占比 < 5%
teacher_min_accuracy: 0.8
max_high_confidence_error_rate: 0.1
fallback: hard_or_human

这里的数字只是起点,不是通用阈值。重要的是结构:默认软标签,但每个切片都要有校准、准确率、置信度三道检查,不满足就退回硬标签或人工。高风险场景,比如医疗、金融、法务里的低频类别,我倾向于把阈值调得更保守,甚至直接不用软标签。低频但高价值的用户,往往正好落在教师最没有把握的地方。

评测要算继承率,不要只看总准确率

蒸馏的评测集如果只报总体 top-1,你几乎一定看不到错误继承。至少要把样本按教师对错切开:

学生正确 学生错误
教师正确 A B
教师错误 C D

教师错误继承率是 D / (C + D)。软标签和硬标签各跑一遍,比较这个数。如果软标签在教师正确的样本上把学生拉得更高,但在教师错误的样本上继承率也明显更高,这就是一笔明确的交换:用头部的收益换尾部的错误。值不值得,要看业务对尾部错误的定价。

还要单独看“高置信错误率”:教师做错且置信度高于阈值的样本占比。这个数比总体准确率更能预测上线后的投诉,因为高置信错误会被软标签完整地传给学生,而且学生很难在后续训练中把它纠正回来。

切片维度至少有两个:类频和教师置信度。类频看长尾,置信度看校准。有条件再加一个业务维度,比如按故障类型、按商品类目、按用户等级。总体指标是给汇报看的,切片指标才是给决策用的。

这笔账最后落在谁头上

蒸馏的收益很直接:小模型便宜、延迟低、部署简单。这些收益由产品团队拿走,教师错误带来的成本却常常落在标注、客服和线上事故上。更麻烦的是责任边界会变模糊:教师团队说学生没学好,学生团队说教师标签有问题,产品团队看到的是用户投诉。

所以蒸馏之前最好把三件事写清楚。教师团队提供每个切片的准确率和校准报告,不是只给一个总体精度。蒸馏的负责人定义门控策略,哪些切片用软标签,哪些退回硬标签,哪些必须人工。产品负责人定义可接受的尾部错误率,特别是低频高价值场景。没有这三样,软标签就是一个黑箱,出了事只能互相猜。

软标签不是免费的午餐,它传递的是教师的完整判断,包括判断里的偏见。教师强、校准好、切片清楚,软标签能把类别之间的结构搬过去,这是它最有价值的地方。教师只强一点、尾部过度自信、没有切片校准,软标签就是把错误教成学生的本能。

下次做蒸馏,先别调温度。拿现有评测集切两刀:按类频切,按教师对错切。如果软标签在教师错误的样本上继承率明显高于硬标签,先把这些切片切回硬标签或人工,再谈怎么搬教师的暗知识。这个顺序反过来,调参调得再细,也只是在优化一个被平均掉的总体数字。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#模型蒸馏 #软标签 #长尾

评论