跳至主要内容
AI 面试官的五个模块:剧本管流程,模型管追问,数字人管节奏,链路管缝合

AI 面试官的五个模块:剧本管流程,模型管追问,数字人管节奏,链路管缝合

第一次认真做一个 AI 面试官,我们团队的力气几乎全花在 prompt 上:怎么让模型追问得更像人、怎么让评分更接近资深面试官。上线第一周,被投诉最多的却不是「问得不好」,而是「我说完一句话,她愣了三秒才回我」。

那三秒让我明白,AI 面试官本质上不是一个模型产品,是一个实时系统。它要在一个 20 到 40 分钟的窗口里,同时处理说话、听话、判断、打分、存档五件事,任何一环卡住,候选人感受到的都是「这个 AI 很笨」。

后来我把整个系统拆成五块:面试机器人、标准对话能力、面试大模型、数字人、多媒体链路中心。拆完之后,很多原来混在一起的问题就分得清了。

面试大模型:只做追问和打分两件事

一开始我们让模型「主持面试」,结果非常糟糕。它会自作主张跳过题目、跟候选人聊起行业八卦、在候选人紧张的时候突然抛一个更难的题。20 分钟的面试聊完,只覆盖了剧本里的两道题。

后来我们把大模型的权限收得极窄,只留两个动作:

  • 追问:判断候选人这句话里有没有值得挖的点,有就生成一句追问;
  • 打分:按评分量表给这一题打维度分,并指出证据。

流程控制一律不给模型。它每次输出的都是一个结构化对象,而不是一段自然语言:

JSON8 行
1
2
3
4
5
6
7
8
{
"action": "follow_up",
"question": "你刚提到把接口耗时从 800ms 降到 200ms,具体是哪一层的变化?",
"reason": "候选人描述了结果但未说明手段",
"evidence": [{"start": 42.6, "end": 55.1, "quote": "优化之后大概快了很多"}],
"score_delta": {"depth": 0.5},
"confidence": 0.78
}

action 只有三种:follow_up、next、close。模型不能自己决定换题,也不能决定面试结束——它只能「建议」,由机器人状态机批准。

追问要加三道刹车,不然模型会一路挖到沟里:

  1. 层数上限:同一道题最多追两层,第三层强制进下一题;
  2. 锚点约束:剧本里给每题写 2–4 个必答要素,模型只能在未覆盖的要素上追问,不能自由发挥;
  3. schema 校验 + 兜底:JSON 不合法或字段缺失时重试一次,还失败就直接用剧本预设的备用追问。

打分这边,比追问更难。几个人类面试官打同一段回答,分差都能到 20%,指望模型一次打分就准是不现实的。我们的做法是:

  • 把评分拆成 3–5 个维度(结构、深度、证据、表达),每个维度单独给分并附原文时间戳;
  • 模型输出 confidence,低于阈值的题目标记出来,进人工复核队列;
  • 线上用「与人工评分的一致性」而不是「平均分差值」做指标,一致性跌了就说明 prompt 或量表该改了。

面试机器人:剧本是骨架,状态机是关节

如果说大模型是嘴,机器人就是那根脊椎。

它的输入是一份题目剧本——一份用 DSL 写的结构化文档,而不是一段散文:

YAML11 行
1
2
3
4
5
6
7
8
9
10
11
stage: project_deep_dive
timebox: 900s
questions:
- id: q3
prompt: "挑一个你主导过的项目,讲讲最难的取舍"
must_cover: [背景约束, 备选方案, 决策依据, 结果验证]
followups:
- "如果重来一次,你会改哪一步?"
- "这个方案对团队其他人有什么影响?"
max_followups: 2
weight: 0.25

机器人在上面跑的是一个三层状态机:

层 状态 事件
会话 准备 / 进行 / 暂停 / 结束 加入房间、断线重连、到点、候选人主动退出
环节 入场 / 自我介绍 / 项目深挖 / 专业题 / 反问 环节超时、必答要素已覆盖
题目 提问中 / 倾听中 / 追问中 / 已收口 候选人开口、静默超时、追问用尽、答题时间到

有了这个状态机,「候选人说完了吗」这种问题才有地方回答。静默 2.5 秒且 ASR 给出 final 结果,判定为「说完了」;静默 6 秒且没有 final,判定为「可能卡住」,先给一句鼓励式提示;静默 12 秒,才允许跳过。

这里最重要的一条设计是:沟通流程和评估流程必须分开。

  • 沟通流程是同步的,硬指标是首响延迟——候选人说完到听见第一句回应,P90 要压到 1.5 秒以内;
  • 评估流程是异步的,面试过程中只做轻量快评(够不够判断要不要追问),完整评分、报告生成、维度汇总全部放到面试结束后跑。

我们早期把完整评估塞进对话里,每道题多等 2–3 秒,候选人的体感是「这个 AI 反应很慢」。拆开之后,首响立刻好看了,评估质量也没掉。

标准对话能力:把「沟通 + 评估」打成包

上面那条「沟通异步、评估同步」的规矩,落到代码里其实很难。因为一段对话的沟通方式和评估方式是绑死的:

  • 「请问你是十冷同学吗?」这句只可能出现在人员确认里,语气要轻,而且不能打分;
  • 「喂喂能听见吗」只可能出现在环境确认里,问三遍没反应就该提示重连,而不是判候选人能力差;
  • 「张三和李四是什么关系」这种题只可能出现在能力考察里,必须按量表打分。

这三段放在同一个流程引擎里,就会长出一堆 if stage == "confirm_identity": ... elif stage == "env_check": ...。每加一个场景(比如客服岗的「话术演练」、校招的「笔试讲解」),这些分支就再长一层。

所以我们在机器人和大模型之间插了一层标准对话能力:一个能力 = 一段对话目的 + 固定的沟通方式 + 对应的评估方式,打包成统一接口。面试机器人退化成一个编排器,只负责决定「现在该跑哪个能力、什么时候切下一个」。

PYTHON9 行
1
2
3
4
5
6
7
8
9
class DialogueCapability:
purpose: str # 这段对话要达成什么
tone: str # 语气风格,写死不给模型自由发挥
need_eval: bool # 只沟通的能力为 False

def opening(self, ctx) -> Turn: ...
def on_candidate(self, ctx, final) -> Turn: ... # 下一步动作
def evaluate(self, ctx) -> EvalResult | None: ... # 无评估返回 None
def is_done(self, ctx) -> bool: ...

我们沉淀下来的五个能力,基本覆盖了初面里除了「聊技术细节」以外的所有环节:

对话能力 说明 特点 对话示例
人员确认 通过沟通确认是否本人面试 只确认,不评估 面试官:请问你是十冷同学吗
候选人:是的,请问你是哪位?
面试官:我是蚂蚁云客服的面试官。
环境确认 通过沟通确认沟通环境是否顺畅 只确认,不评估 面试官:喂喂能听见吗
候选人:我能听见,你能听见吗
面试官:嗯嗯,我也可以听见
信息收集 收集姓名、毕业院校等信息 只收集,不评估 面试官:请问你的学历是什么
候选人:我是本科毕业的哈
能力考察 通过沟通考察候选人能力 沟通 + 评估 面试官:张三是李四的哥哥,李四有两个女儿,其中一个已经结婚了,请问李四开家庭聚会叫上家人,至少几个人参加?
候选人:是 3 个?
岗位介绍 向候选人介绍岗位详情 只介绍,不评估;支持 QA 反转 面试官:云客服在线岗位主要是通过在线聊天工具解决客户问题……
候选人:在线是指?
面试官:就是类似微信的一个软件跟用户沟通。

一场面试就是这些能力排成的一条链:

PLAINTEXT1 行
1
人员确认 → 环境确认 → 信息收集 → 岗位介绍 → 能力考察(多轮,按剧本加权)

把「只沟通不评估」的能力也塞进同一个接口,一开始看着很别扭——evaluate() 返回 None,need_eval=False 像个残疾字段。但这么做的收益立刻显现:

  • 沟通和评估绑在一起,开发变简单了。写「人员确认」的人不用管评分量表长什么样,也不用知道机器人在第几分钟;反过来,改能力考察的评分维度不会碰人员确认。
  • 接口统一,接入变快。新能力只要实现 opening / on_candidate / evaluate / is_done 四个方法,机器人侧零改动。我们后来加「薪资期望沟通」「入职时间确认」,每个不到两天。
  • 能复用。同一套「信息收集」在校招、社招、客服岗三条业务线里是同一份代码,差异只在剧本里传进来的字段列表。

几个不得不处理的细节

QA 反转。岗位介绍是唯一一个双向能力:候选人会随时插话问问题。所以接口里除了 on_candidate(回答完继续讲),还需要一个 on_question 分支,让能力自己决定「这句是答题还是提问」。第一版我们没做,候选人一问「在线是指什么」,机器人就当成「已听完了,继续往下讲」,直接跳到下一段,体验非常差。

能力栈,而不是单向链。访谈中途候选人说「我在高铁上,信号不太好」,这时候应该临时回落到环境确认,处理完再回到原来那道题。所以编排器维护的是一个栈:push(环境确认),结束后 pop 继续原题,原题的追问层数、已覆盖要素都要保留。

上下文要显式声明。能力之间的数据传递只走 ctx,并且每个能力声明自己读什么、写什么:

YAML3 行
1
2
3
name: 人员确认
reads: [candidate_name, resume_id]
writes: [identity_verified, identity_confidence]

不声明就读 ctx 里的野字段,三周之后没人知道「信息收集」里的学历是从哪来的。

边界按「对话目的」切,不按技术模块切。我们试过按「语音交互」「文本问答」去拆能力,很快就乱了,因为一次能力考察里既有语音也有文本。按目的切之后,「环境确认」这种纯技术意味的环节反而稳定了,因为它有明确的终点:能听见 = 完成。

数字人:不是一张脸,是「回合感」

数字人这块最容易跑偏。团队第一版花了两个月做 3D 建模和口型对齐,上线后反馈是「看起来很贵,但像在念稿」。

问题不在脸上,在节奏上。候选人在一场面试里获得的绝大部分信息不是文字内容,而是「她有没有在听我说话」:

  • 我说话的时候,她有没有看着我、有没有点头;
  • 我说完停下来,她是不是立刻接话(接太快像抢话,太慢像掉线);
  • 她问问题的时候,语速和停顿像不像一个真人在组织语言。

所以真正需要打磨的是几个状态,而不是模型精度:

状态 触发 表现
倾听 检测到候选人持续说话 轻微点头、目光停留、不做口型
思考 已收到 final,等待模型返回 眼神微偏、1 秒左右停顿
说话 TTS 音频到达 口型驱动 + 少量手势
待机 长时间无输入 回到静坐,避免「盯着你看」的压迫感

工程上还有两个细节:

  • 首句预合成:开场白、固定过渡语(「好的,我们进入下一题」)提前合成好音频,不占用实时链路;
  • 按句流式合成:题目正文让模型先出完整文本,再按句切给 TTS,第一句合成完就开始播,后面边播边合成。

音色是产品决策不是技术决策。同一场面试不能中途换音色,语速要略慢于日常对话(约 4.5 字/秒),口音要和目标候选人群体匹配——这几点调整的成本是零,体感收益比换模型大得多。

多媒体链路中心:把三方缝在一起

这块最不性感,但它是唯一一个「挂了就全挂」的模块。它要连的是三个方向完全不同的对端:C 端候选人的浏览器/手机、机器人的事件流、数字人的渲染与推流。

一条典型的实时链路是这样的:

PLAINTEXT9 行
1
2
3
4
5
6
7
8
9
候选人麦克风
→ WebRTC(Opus / FEC / 抖动缓冲)
→ 服务端 VAD(判断说话开始结束)
→ 流式 ASR(partial → final,带时间戳)
→ 机器人编排器(决定这一刻该跑哪个能力)
→ 面试大模型(追问 / 快评)
→ TTS(按句流式合成)
→ 数字人渲染(口型 + 表情 + 姿态)
→ WebRTC 推流回候选人

这条链路上真正难的都不是「通」,而是「打断」和「弱网」:

  • 打断(barge-in):候选人不等 AI 说完就开口,链路必须在 200ms 内停掉 TTS 播放、清空待播队列、把状态切回倾听,同时把已播文本记进上下文,避免下一轮重复;
  • 回声消除:不做 AEC,数字人的声音会被自己听回去,ASR 转写里全是自己的台词;
  • 弱网降级:丢包超过阈值就从全双工退到半双工(播完再收音),并在界面上明确提示「网络较弱」,而不是让候选人对着一个沉默的头像说话;
  • 断线重连:会话状态每 5 秒打一次快照,重连后从快照恢复,不能重头再来一遍自我介绍。

另外还有一条容易被忽略的旁路:双轨录音、带时间戳的完整转写、关键事件日志。这些不只是给复盘用的——评分申诉、合规审计、模型迭代的训练语料,全都从这条旁路出。没有它,AI 面试官出了问题你连「当时她到底听到了什么」都还原不出来。

技术大图

五块拼起来大概是这样:

PLAINTEXT32 行
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
                   ┌──────────────────────────────────────────┐
候选人 │ 多媒体链路中心 │
(浏览器/App) │ WebRTC VAD ASR流式 TTS AEC/抗弱网 │
│ ▲ └────┬──────────────────────────┬──────────┘
│ │ │ 音频/事件 │ 音频
│ └────────────────┼──────────────────────────┘
▼ ▼ ▼
┌──────────┐ ┌──────────────┐ ┌──────────────┐
│ 实时对话流 │─────▶│ 面试机器人 │◀────────▶│ 数字人 │
│ (毫秒级) │ │ 编排 + 状态机│ 动作/台词 │ 形象/语音/口型 │
└──────────┘ └──────┬───────┘ └──────────────┘
│ 调度
▼
┌────────────────────────────┐
│ 标准对话能力层 │
│ 人员确认 · 环境确认 · 信息收集 │
│ 岗位介绍 · 能力考察 · 可扩展 │
└──────────────┬─────────────┘
│ 追问(同步) / 评分(异步)
▼
┌──────────────┐
│ 面试大模型 │
│ 追问 · 评估 │
└──────┬───────┘
│ 异步
▼
┌─────────────────────────────────────┐
│ 评估流(秒级/异步):完整评分、报告、 │
│ 人工复核队列、模型一致性指标 │
└─────────────────────────────────────┘

旁路:双轨录音 + 带时间戳转写 + 事件日志 → 复盘 / 申诉 / 合规 / 训练语料

加这一层最直接的变化是:面试机器人从「一个写死面试流程的服务」变成了「一个装配能力、管状态、扛实时性的容器」。前者每接一个业务场景都要改代码,后者只换剧本和能力清单。

三条流的时间尺度完全不同,这决定了它们必须是三套机制:

流 时间尺度 失败容忍 关键指标
实时对话流 毫秒 几乎为零 首响延迟 P90、打断响应
评估流 秒到分钟 可重试、可离线重跑 与人工评分一致性
存档流 面试后 必须完整、不可丢 录音完整率、转写覆盖率

把这三条流混在一个服务里,是我见过的这个系统最常见的架构错误。

三个我踩过的坑

  1. 让模型决定流程。表现是面试跑偏、时间分配失控。修法是把流程权收回到状态机,模型只输出建议动作。
  2. 评估和对话同步做。表现是每题多等 2–3 秒,候选人以为掉线。修法是对话里只做「要不要追问」这种轻判断,完整评分异步跑。
  3. 数字人先做脸后做节奏。表现是好看但假。修法是先做倾听态、思考态和停顿,再回头优化口型和表情。

还有一个不算坑但值得记的:标准化接口一定会有「为整齐付出的代价」。need_eval=False 这种字段看着多余,但比起让每个业务线自己写一套流程分支,这点冗余便宜得多。真要说原则,我只认一条——接口按「对话目的」切,别按技术模块切。

什么算跑通了

现在我看这个系统是否可用,只看四个数:

  • 首响延迟 P90 < 1.5s,打断响应 < 300ms——低于这个线,候选人会觉得「AI 很笨」;
  • 追问命中率——追问里有多少是人工面试官也会问的(抽 100 条人工标注);
  • 评分一致性——模型打分和人工评分的相关性,跌了就回去改量表;
  • 单场完成率与申诉率——真正决定这套东西能不能替代一轮初面的,是这两个数,不是模型榜上的排名。

AI 面试官这个产品,看起来是几个模块拼起来的,实际上的重心在中间那条链路上:模型决定上限,链路决定下限。而候选人只会记得下限。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#AI 面试 #实时对话 #数字人 #系统架构

评论