第一次认真做一个 AI 面试官,我们团队的力气几乎全花在 prompt 上:怎么让模型追问得更像人、怎么让评分更接近资深面试官。上线第一周,被投诉最多的却不是「问得不好」,而是「我说完一句话,她愣了三秒才回我」。
那三秒让我明白,AI 面试官本质上不是一个模型产品,是一个实时系统。它要在一个 20 到 40 分钟的窗口里,同时处理说话、听话、判断、打分、存档五件事,任何一环卡住,候选人感受到的都是「这个 AI 很笨」。
后来我把整个系统拆成五块:面试机器人、标准对话能力、面试大模型、数字人、多媒体链路中心。拆完之后,很多原来混在一起的问题就分得清了。
面试大模型:只做追问和打分两件事
一开始我们让模型「主持面试」,结果非常糟糕。它会自作主张跳过题目、跟候选人聊起行业八卦、在候选人紧张的时候突然抛一个更难的题。20 分钟的面试聊完,只覆盖了剧本里的两道题。
后来我们把大模型的权限收得极窄,只留两个动作:
- 追问:判断候选人这句话里有没有值得挖的点,有就生成一句追问;
- 打分:按评分量表给这一题打维度分,并指出证据。
流程控制一律不给模型。它每次输出的都是一个结构化对象,而不是一段自然语言:
1 | { |
action 只有三种:follow_up、next、close。模型不能自己决定换题,也不能决定面试结束——它只能「建议」,由机器人状态机批准。
追问要加三道刹车,不然模型会一路挖到沟里:
- 层数上限:同一道题最多追两层,第三层强制进下一题;
- 锚点约束:剧本里给每题写 2–4 个必答要素,模型只能在未覆盖的要素上追问,不能自由发挥;
- schema 校验 + 兜底:JSON 不合法或字段缺失时重试一次,还失败就直接用剧本预设的备用追问。
打分这边,比追问更难。几个人类面试官打同一段回答,分差都能到 20%,指望模型一次打分就准是不现实的。我们的做法是:
- 把评分拆成 3–5 个维度(结构、深度、证据、表达),每个维度单独给分并附原文时间戳;
- 模型输出
confidence,低于阈值的题目标记出来,进人工复核队列; - 线上用「与人工评分的一致性」而不是「平均分差值」做指标,一致性跌了就说明 prompt 或量表该改了。
面试机器人:剧本是骨架,状态机是关节
如果说大模型是嘴,机器人就是那根脊椎。
它的输入是一份题目剧本——一份用 DSL 写的结构化文档,而不是一段散文:
1 | stage: project_deep_dive |
机器人在上面跑的是一个三层状态机:
| 层 | 状态 | 事件 |
|---|---|---|
| 会话 | 准备 / 进行 / 暂停 / 结束 | 加入房间、断线重连、到点、候选人主动退出 |
| 环节 | 入场 / 自我介绍 / 项目深挖 / 专业题 / 反问 | 环节超时、必答要素已覆盖 |
| 题目 | 提问中 / 倾听中 / 追问中 / 已收口 | 候选人开口、静默超时、追问用尽、答题时间到 |
有了这个状态机,「候选人说完了吗」这种问题才有地方回答。静默 2.5 秒且 ASR 给出 final 结果,判定为「说完了」;静默 6 秒且没有 final,判定为「可能卡住」,先给一句鼓励式提示;静默 12 秒,才允许跳过。
这里最重要的一条设计是:沟通流程和评估流程必须分开。
- 沟通流程是同步的,硬指标是首响延迟——候选人说完到听见第一句回应,P90 要压到 1.5 秒以内;
- 评估流程是异步的,面试过程中只做轻量快评(够不够判断要不要追问),完整评分、报告生成、维度汇总全部放到面试结束后跑。
我们早期把完整评估塞进对话里,每道题多等 2–3 秒,候选人的体感是「这个 AI 反应很慢」。拆开之后,首响立刻好看了,评估质量也没掉。
标准对话能力:把「沟通 + 评估」打成包
上面那条「沟通异步、评估同步」的规矩,落到代码里其实很难。因为一段对话的沟通方式和评估方式是绑死的:
- 「请问你是十冷同学吗?」这句只可能出现在人员确认里,语气要轻,而且不能打分;
- 「喂
喂能听见吗」只可能出现在环境确认里,问三遍没反应就该提示重连,而不是判候选人能力差; - 「张三和李四是什么关系」这种题只可能出现在能力考察里,必须按量表打分。
这三段放在同一个流程引擎里,就会长出一堆 if stage == "confirm_identity": ... elif stage == "env_check": ...。每加一个场景(比如客服岗的「话术演练」、校招的「笔试讲解」),这些分支就再长一层。
所以我们在机器人和大模型之间插了一层标准对话能力:一个能力 = 一段对话目的 + 固定的沟通方式 + 对应的评估方式,打包成统一接口。面试机器人退化成一个编排器,只负责决定「现在该跑哪个能力、什么时候切下一个」。
1 | class DialogueCapability: |
我们沉淀下来的五个能力,基本覆盖了初面里除了「聊技术细节」以外的所有环节:
| 对话能力 | 说明 | 特点 | 对话示例 |
|---|---|---|---|
| 人员确认 | 通过沟通确认是否本人面试 | 只确认,不评估 | 面试官:请问你是十冷同学吗 候选人:是的,请问你是哪位? 面试官:我是蚂蚁云客服的面试官。 |
| 环境确认 | 通过沟通确认沟通环境是否顺畅 | 只确认,不评估 | 面试官:喂 候选人:我能听见,你能听见吗 面试官:嗯嗯,我也可以听见 |
| 信息收集 | 收集姓名、毕业院校等信息 | 只收集,不评估 | 面试官:请问你的学历是什么 候选人:我是本科毕业的哈 |
| 能力考察 | 通过沟通考察候选人能力 | 沟通 + 评估 | 面试官:张三是李四的哥哥,李四有两个女儿,其中一个已经结婚了,请问李四开家庭聚会叫上家人,至少几个人参加? 候选人:是 3 个? |
| 岗位介绍 | 向候选人介绍岗位详情 | 只介绍,不评估;支持 QA 反转 | 面试官:云客服在线岗位主要是通过在线聊天工具解决客户问题…… 候选人:在线是指? 面试官:就是类似微信的一个软件跟用户沟通。 |
一场面试就是这些能力排成的一条链:
1 | 人员确认 → 环境确认 → 信息收集 → 岗位介绍 → 能力考察(多轮,按剧本加权) |
把「只沟通不评估」的能力也塞进同一个接口,一开始看着很别扭——evaluate() 返回 None,need_eval=False 像个残疾字段。但这么做的收益立刻显现:
- 沟通和评估绑在一起,开发变简单了。写「人员确认」的人不用管评分量表长什么样,也不用知道机器人在第几分钟;反过来,改能力考察的评分维度不会碰人员确认。
- 接口统一,接入变快。新能力只要实现
opening / on_candidate / evaluate / is_done四个方法,机器人侧零改动。我们后来加「薪资期望沟通」「入职时间确认」,每个不到两天。 - 能复用。同一套「信息收集」在校招、社招、客服岗三条业务线里是同一份代码,差异只在剧本里传进来的字段列表。
几个不得不处理的细节
QA 反转。岗位介绍是唯一一个双向能力:候选人会随时插话问问题。所以接口里除了 on_candidate(回答完继续讲),还需要一个 on_question 分支,让能力自己决定「这句是答题还是提问」。第一版我们没做,候选人一问「在线是指什么」,机器人就当成「已听完了,继续往下讲」,直接跳到下一段,体验非常差。
能力栈,而不是单向链。访谈中途候选人说「我在高铁上,信号不太好」,这时候应该临时回落到环境确认,处理完再回到原来那道题。所以编排器维护的是一个栈:push(环境确认),结束后 pop 继续原题,原题的追问层数、已覆盖要素都要保留。
上下文要显式声明。能力之间的数据传递只走 ctx,并且每个能力声明自己读什么、写什么:
1 | name: 人员确认 |
不声明就读 ctx 里的野字段,三周之后没人知道「信息收集」里的学历是从哪来的。
边界按「对话目的」切,不按技术模块切。我们试过按「语音交互」「文本问答」去拆能力,很快就乱了,因为一次能力考察里既有语音也有文本。按目的切之后,「环境确认」这种纯技术意味的环节反而稳定了,因为它有明确的终点:能听见 = 完成。
数字人:不是一张脸,是「回合感」
数字人这块最容易跑偏。团队第一版花了两个月做 3D 建模和口型对齐,上线后反馈是「看起来很贵,但像在念稿」。
问题不在脸上,在节奏上。候选人在一场面试里获得的绝大部分信息不是文字内容,而是「她有没有在听我说话」:
- 我说话的时候,她有没有看着我、有没有点头;
- 我说完停下来,她是不是立刻接话(接太快像抢话,太慢像掉线);
- 她问问题的时候,语速和停顿像不像一个真人在组织语言。
所以真正需要打磨的是几个状态,而不是模型精度:
| 状态 | 触发 | 表现 |
|---|---|---|
| 倾听 | 检测到候选人持续说话 | 轻微点头、目光停留、不做口型 |
| 思考 | 已收到 final,等待模型返回 | 眼神微偏、1 秒左右停顿 |
| 说话 | TTS 音频到达 | 口型驱动 + 少量手势 |
| 待机 | 长时间无输入 | 回到静坐,避免「盯着你看」的压迫感 |
工程上还有两个细节:
- 首句预合成:开场白、固定过渡语(「好的,我们进入下一题」)提前合成好音频,不占用实时链路;
- 按句流式合成:题目正文让模型先出完整文本,再按句切给 TTS,第一句合成完就开始播,后面边播边合成。
音色是产品决策不是技术决策。同一场面试不能中途换音色,语速要略慢于日常对话(约 4.5 字/秒),口音要和目标候选人群体匹配——这几点调整的成本是零,体感收益比换模型大得多。
多媒体链路中心:把三方缝在一起
这块最不性感,但它是唯一一个「挂了就全挂」的模块。它要连的是三个方向完全不同的对端:C 端候选人的浏览器/手机、机器人的事件流、数字人的渲染与推流。
一条典型的实时链路是这样的:
1 | 候选人麦克风 |
这条链路上真正难的都不是「通」,而是「打断」和「弱网」:
- 打断(barge-in):候选人不等 AI 说完就开口,链路必须在 200ms 内停掉 TTS 播放、清空待播队列、把状态切回倾听,同时把已播文本记进上下文,避免下一轮重复;
- 回声消除:不做 AEC,数字人的声音会被自己听回去,ASR 转写里全是自己的台词;
- 弱网降级:丢包超过阈值就从全双工退到半双工(播完再收音),并在界面上明确提示「网络较弱」,而不是让候选人对着一个沉默的头像说话;
- 断线重连:会话状态每 5 秒打一次快照,重连后从快照恢复,不能重头再来一遍自我介绍。
另外还有一条容易被忽略的旁路:双轨录音、带时间戳的完整转写、关键事件日志。这些不只是给复盘用的——评分申诉、合规审计、模型迭代的训练语料,全都从这条旁路出。没有它,AI 面试官出了问题你连「当时她到底听到了什么」都还原不出来。
技术大图
五块拼起来大概是这样:
1 | ┌──────────────────────────────────────────┐ |
加这一层最直接的变化是:面试机器人从「一个写死面试流程的服务」变成了「一个装配能力、管状态、扛实时性的容器」。前者每接一个业务场景都要改代码,后者只换剧本和能力清单。
三条流的时间尺度完全不同,这决定了它们必须是三套机制:
| 流 | 时间尺度 | 失败容忍 | 关键指标 |
|---|---|---|---|
| 实时对话流 | 毫秒 | 几乎为零 | 首响延迟 P90、打断响应 |
| 评估流 | 秒到分钟 | 可重试、可离线重跑 | 与人工评分一致性 |
| 存档流 | 面试后 | 必须完整、不可丢 | 录音完整率、转写覆盖率 |
把这三条流混在一个服务里,是我见过的这个系统最常见的架构错误。
三个我踩过的坑
- 让模型决定流程。表现是面试跑偏、时间分配失控。修法是把流程权收回到状态机,模型只输出建议动作。
- 评估和对话同步做。表现是每题多等 2–3 秒,候选人以为掉线。修法是对话里只做「要不要追问」这种轻判断,完整评分异步跑。
- 数字人先做脸后做节奏。表现是好看但假。修法是先做倾听态、思考态和停顿,再回头优化口型和表情。
还有一个不算坑但值得记的:标准化接口一定会有「为整齐付出的代价」。need_eval=False 这种字段看着多余,但比起让每个业务线自己写一套流程分支,这点冗余便宜得多。真要说原则,我只认一条——接口按「对话目的」切,别按技术模块切。
什么算跑通了
现在我看这个系统是否可用,只看四个数:
- 首响延迟 P90 < 1.5s,打断响应 < 300ms——低于这个线,候选人会觉得「AI 很笨」;
- 追问命中率——追问里有多少是人工面试官也会问的(抽 100 条人工标注);
- 评分一致性——模型打分和人工评分的相关性,跌了就回去改量表;
- 单场完成率与申诉率——真正决定这套东西能不能替代一轮初面的,是这两个数,不是模型榜上的排名。
AI 面试官这个产品,看起来是几个模块拼起来的,实际上的重心在中间那条链路上:模型决定上限,链路决定下限。而候选人只会记得下限。
评论