一场 AI 应用岗的面试结束后,白板上留着一行被擦了又写的缩放点积注意力公式。候选人推了十几分钟,卡在位置编码那一项,面试记录上写的是“基础不扎实”。同一批里另一份记录:候选人没把多头注意力的矩阵维度讲全,但拿出自己做过的一条检索链路,说清了上线第三天召回突然掉下去,最后怎么从日志里定位到一个分词器版本变更。
两份记录摆在一起,多数团队会选第一个。这个选择不算错,但它测到的东西,和大多数人以为它测到的东西,不是一回事。
推导题测的是闭卷复现
把推导题拆开看,它有几个很强的形式特征:单点、闭卷、限时、有标准答案、有观众。这几条加在一起,测出来的首先是数学符号的熟练度和近期的复习投入,其次是临场抗压。这些都是真实能力,只是适用范围很窄。
工程交付要的是另一组。需求进来时是模糊的,得先切成能验收的步骤;资源永远不够,得决定哪个指标先放弃;线上指标掉了,得判断是数据漂移、上游变更还是模型本身;还得知道什么时候不该动手修。这些能力没有一条能在白板上单独演示。
两者有一个交集,叫“能把一件事想清楚”。推导里的想清楚,是在别人已经定义好的框架里走完全程,终点是已知的;交付里的想清楚,是自己定义框架,还要决定在哪一步停手。前者训练的是走完,后者训练的是取舍。
成本上也不划算。一道 attention 推导,熟的人三五分钟,生的人二十分钟,加上追问,它在整场面试里通常要占掉二十分钟以上,是最贵的一段。换回来的信息,量级上大概等于“这个人过去几个月有没有系统复习过”。
| 维度 | 推导题 | 交付题 |
|---|---|---|
| 标准答案 | 有 | 没有 |
| 评分一致性 | 高 | 低 |
| 准备方式 | 短期突击有效 | 长期做过才有效 |
| 主要测到 | 符号熟练、记忆、抗压 | 归因、取舍、量级感 |
| 误判风险 | 筛掉没复习的熟手 | 筛掉不善表达的熟手 |
表格里最后一行值得多看两眼。换成交付题不等于更公平,它只是把误判的类型换了一种。
明知不相关,为什么还在考
我不觉得这是面试官偷懒,背后有几个很实在的组织原因。
一是可比性。推导题有对错,五个面试官对同一份回答能打出接近的分;交付题没有标准答案,同一段复盘,有人觉得扎实,有人觉得空。评分不可比,招聘委员会就没法开会。
二是责任转移。拒掉一个推不出公式的人,理由写在纸上谁都挑不出毛病;拒掉一个讲不清项目的人,面试官要自己承担判断,还要面对“你是不是没听懂”的质疑。用一道有标准答案的题当门槛,面试官的个人风险最小。
三是供给。会追问交付细节的面试官是稀缺的,能把 attention 讲明白的人相对多。一道题复用到所有岗位,省下的是面试官的时间,不是公司的时间。
还有一层不该忽略:校招。没有交付样本的时候,推导确实是廉价的代理指标,它至少能筛掉完全没入门的。做 AI 产品十年,我越来越倾向于把这道题看成一个岗位匹配问题,而不是能力高低问题。主张不是取消,是分岗。
什么时候推导是硬信号
有一条很清晰的边界:日常工作是改模型结构、调训练稳定性、复现论文、做推理性能优化、写底层算子。这些岗位的交付物本身就是公式的落地,推导不是考试内容,是工作语言。推不出来的人进去会天天卡住,这时候用它筛人是对的,而且要考得深,现场推,不许背。
应用层岗位是另一回事。RAG、Agent、工作流、C 端助手,这些系统失效的地方基本不在公式上。常见的几类:某个类别的 query 召回整体塌掉,原因是切分策略和业务术语不匹配;工具调用参数在多轮里被后面的自然语言覆盖;上下文变长之后模型开始忽略中间段落;评测集被反复拿来调 prompt,指标涨了但线上没动。这些问题推公式推不出来,只能靠一遍遍定位攒出来。
所以判断该不该出这道题,问的不是“这个岗位要不要懂 Transformer”,而是“这个岗位的失败长在哪”。
flowchart TD
A[岗位日常失败点] --> B{失败在模型结构}
B -->|是| C[推导是硬信号]
B -->|否| D{有可查交付样本}
D -->|有| E[用样本追问三层]
D -->|没有| F[推导当入门筛]分叉只有一个判断标准。答“是”的岗位,推导该考;答“否”的岗位,推导最多留一道轻量概念题,权重控制在整场的两成以内,作用是过滤完全没准备过的人,不是用来排序。
换成交付题,具体问什么
说“考交付能力”很容易变成空话,落到题目上要具体。常用的有四类,每类都有明确的误判点。
第一类是复盘一个自己改过的线上问题。追问必须走三层:怎么发现的,当时怀疑过哪几个方向、按什么顺序排除的,现在回头看应该在哪个环节提前发现。只讲结果的人在第一层就露馅,因为他说不出排除顺序。误判点是有人把别人的项目讲得很熟,追问一句“那次改动你具体动了哪个文件”就能分辨。
第二类给一段有 bug 的链路,限时定位。不用真跑,给日志、给配置、给一段伪代码就够。看他先看哪里,是先看输入分布还是先怀疑模型。这类题测的是调试路径,不是知识面。
第三类是在约束下做取舍。给三个数:延迟预算、单次成本上限、可接受的准确率下限,让他选两个,并说清放弃的那个怎么兜底。多数人会三个都要,这时候追一句“如果只能保两个,你砍哪个”,回答质量立刻分层。
第四类是做量级估算。一条请求链路的 token 成本、延迟分布、缓存命中率大概在什么范围。做过真账的人会先问调用量和峰值比例,没做过的人直接给一个数,而且给得很精确。
评分不用太复杂,四个维度,每档写清行为就够用。
1 | dimensions: |
换题的成本,很多团队付不起
换掉推导题不是免费的,这一点必须说清楚。
面试官得懂业务,才能听懂候选人在讲什么并且追得下去,这要求面试官本人做过类似的事。评分不可比,就得加校准,几个人一起看同一份录音打分,对齐标准,一轮下来占用不少时间。轮次可能从三轮变四轮,招聘周期拉长,抢人的时候是劣势。交付题还容易退化成“讲项目”,讲得好的候选人未必做得好,所以追问密度必须够,而追问密度又依赖面试官水平。
这些成本是真的,所以很多团队继续考推导,不是不知道问题在哪,是那是他们已经摊薄过的成本。
要推动改动,更稳的做法是先小范围试:同一个岗位,一半候选人加一道交付题,另一半不加,半年后对比两组新人独立接需求的时间。有数据再谈全面换题,比在会上争论“推导有没有用”有效。
我现在的默认配置
应用岗:一道轻量概念题,十分钟,问 attention 为什么除以根号 d 这个量级,能答上来就行,答不上来不直接淘汰,标成待观察。主力放两轮交付面,一轮复盘,一轮取舍加估算。研究岗反过来,推导占大头,现场推,不能只讲思路。
这个配置不是最优,它是在招聘周期、面试官供给、评分可比性三个约束下的折中。如果团队里面试官全是应用层出身,推导题可以彻底去掉,因为那时候它连“可比性”这个优点都没有了,只剩一个形式。
下一次排面试,先问一句:这道题答对了,能推出他在我们这儿哪件事上会做成?答不上来,这道题就该换掉。答得上来,那就把它考到底。
评论