跳至主要内容
RAG 面试问到多深:背架构不如讲清一次失败

RAG 面试问到多深:背架构不如讲清一次失败

面试里问“你做过检索增强生成(RAG)吗”,候选人通常从文档解析讲到向量库,再从召回讲到重排,术语一个不落。听起来都对。但追问一句“上线后最严重的一次答错是什么,怎么定位的”,回答常常变成“调了 prompt”“换了更大的模型”“把 top_k 调大了”。

这条链路只能证明看过教程。RAG 的难点不在把几段拼起来,而在于每一段都有失败方式,而且失败会伪装成别的问题。面试要问到的深度,不是候选人能背多少组件,而是能不能把一次答错拆开,找到责任层,说清修复代价和验证方式。

我把 RAG 面试的合格线分成三层。能复述链路的,是及格;能说清参数和取舍的,是合格;能讲清一次失败、修复代价和边界的,才是可以放进项目里的人。背架构只能证明知道它长什么样,失败案例才能证明你碰过它。

背出链路,只证明知道 RAG 长什么样

标准链路大概就是文档解析、切分、向量化、索引、召回、重排、拼上下文、生成。背下来五分钟。可真实项目里,每个环节都有默认值,默认值往往就是失败源。PDF 的双栏、页眉页脚、跨页表格,会在解析层把一句话拆成两半;固定长度切分会把条款和表头分开;向量模型对型号、编号、金额这类精确 token 不敏感;向量库的权限过滤如果放在召回之后,可能先捞出了不该看的内容;top_k 开得太大,关键片段反而被挤出上下文窗口。

同样叫 RAG,客服 FAQ、合同审阅、内部 wiki 不是同一种难度。客服答案短、更新频繁、要引用;合同要条款完整、版本敏感、权限严格;内部 wiki 的问题模糊、文档冲突多。架构图看起来一样,失败模式完全不同。候选人如果只说“用某个框架搭过”,却说不清自己文档里最脏的一类是什么,基本可以判断没碰过脏数据。

第一个分水岭:能不能把答错拆到链路上

面试里最好的追问不是“RAG 有哪些模块”,而是“用户说答错了,你先查什么”。合格回答不会一上来就换模型,而是先分层。因为“答错”至少有六种:没召回、召回但排序不对、召回对了但上下文被截断、模型没用上上下文、问题本身超出知识库、权限或时效导致不该答。每一种的修法都不一样。

现象 先查什么 常见误判
答案完全没有依据,或者说不知道 正确片段是否入库,解析是否丢字,查询改写是否跑偏 直接换更大模型
引用了相关段落,但没有回答问题 重排后关键片段是否进入上下文,切块 chunk 是否被切碎 继续加大 top_k
答案只答了一半 上下文是否被截断,多文档是否只取了一条 调 temperature
新旧版本同时出现,答案引用了旧版 文档版本、生效时间、租户权限是否参与过滤 在 prompt 里写“请优先最新版”
问题超出知识库 是否该拒答,有没有转人工或搜索兜底 让模型“尽量回答”

这张表里,我最在意的是最后两行。它们不是模型能力问题,是产品和工程边界问题。一个候选人如果能把“不该答”识别出来,通常比会调十个 prompt 更可靠。

答错时先走一遍分层排查,比直接换模型有效。

flowchart TD
    A[用户反馈答错] --> B{正确片段被召回}
    B -- 否 --> C[查解析 切分 索引 查询改写]
    B -- 是 --> D{重排后进入上下文}
    D -- 否 --> E[查重排 过滤 截断]
    D -- 是 --> F{上下文完整且无冲突}
    F -- 否 --> G[查版本 权限 预算]
    F -- 是 --> H[查生成约束与拒答]

新旧版本冲突怎么修

举个常见的失败:用户问退货政策,系统答了一个旧版本,引用看起来还很像。团队第一反应是调 prompt,加一句“请根据最新政策回答”,没用。继续查才发现,新旧两份文档都进了索引,元数据里没有生效时间;重排模型只看语义相似度,旧文档因为措辞更像用户问题,排在了前面。生成模型看到两份互相冲突的材料,只能猜。

修复不是一句 prompt 能解决的。入库时要带版本、生效时间、适用租户;检索时先按时间和权限过滤,再排序;重排特征里可以加新鲜度,但不能代替元数据过滤;prompt 里要明确冲突时以哪份为准,并要求引用原文;评测集里要专门放“新旧版本冲突”的问题。一个常见的起点是召回 20 到 50 条,重排后留 5 到 8 条,上下文控制在几千 token。参数不是重点,重点是每一层都要能解释为什么这么设。修复后用几十条冲突问题做回归,看错版本率、引用准确率和拒答率有没有一起变化。只盯整体准确率,很容易被大量简单问题掩盖。

参数不是背出来的,是拿约束换的

面试里常问切块大小 chunk size 多少、top_k 多少、要不要重排。答一个数字不难,难的是说清这个数字在什么约束下成立。FAQ 场景,答案通常短,chunk 可以是两三百字,重叠 overlap 只在句子跨块时留一点;合同和手册,按标题层级切更合理,单块可能上千字,再在块内做句子级定位。小 chunk 召回准,但上下文碎,容易丢前提;大 chunk 结构完整,但噪声多、成本高,还会稀释模型注意力。这不是哪个更好,是拿什么换什么。

top_k 也一样。召回条数少,延迟低,但漏;条数多,召回高,但重排压力和上下文噪声一起上来。重排模型准,通常更慢,客服场景要抢首字延迟,合同审阅可以多等几秒。RAG 的延迟不只是生成,检索和重排都算。候选人如果能主动说出“我们为了首字延迟,把重排条数压到多少,代价是某类长尾问题召回下降”,这比背一个最佳实践可信得多。

验证也不能只看最终答案。至少要看召回命中、引用是否支持答案、该拒答时有没有拒答、错版本有没有出现、p95 延迟和单次成本。一个可用的评测样本长这样:

YAML6 行
1
2
3
4
5
6
- id: refund-version-01
question: 退货政策多久内可以申请
type: 版本冲突
must_recall: policy_v3
must_not_cite: policy_v2
expect: answer_with_citation

样本不用多,先按问题类型分桶,每桶几十条,比两千条随机问题更能暴露问题。候选人不一定真做过大规模评测,但至少要知道“整体准确率”会骗人。

第二个分水岭:知道 RAG 什么时候不该用

更深的回答会主动说边界。RAG 解决的是把外部知识放进上下文,它不解决聚合计算、事务状态和权限责任。用户问“过去一年退款率最高的商品”,这是分析查询,应该走数据库或报表,不是向量检索;用户问“我的订单到哪了”,应该查订单接口,不是从客服文档里找答案;用户问“这份合同有没有自动续约”,可以用 RAG 定位条款,但答案要引用原文,关键场景还要人工复核。

如果候选人说“所有知识问答都可以上 RAG”,我会认为他还没被线上事故教育过。反过来,如果他能说清哪些问题该拒答、哪些该转人工、哪些该走规则或 API,说明他知道系统的责任边界。RAG 不是万能入口,它只是一个把知识和生成连起来的组件。组件放错位置,越努力越错。

面试官怎么问,才能问出深度

对面试官来说,不要用“介绍一下 RAG 架构”开场,那只会得到一段背诵。更有效的问法是沿着一次失败往下走:

  1. 你做的 RAG 里,用户最常问的三类问题是什么?
  2. 哪一类答得最差?举一个具体的 bad case(失败样本)。
  3. 你怎么判断是没召回、召回错,还是生成没用上?
  4. 修复后用什么指标验证?有没有哪个指标变差了?
  5. 知识库没有答案时,系统现在怎么表现?应该怎么表现?

这五个问题不需要标准答案,但能看出一个人有没有真的做过取舍。尤其是第四问,很多人能说“准确率涨了”,说不出“拒答率也涨了”或者“延迟多了一秒”。只讲收益不讲代价,通常意味着没上过线。

准备三个失败,比准备一张架构图有用

如果要去面 RAG 岗位,别急着把架构图背得更熟。挑三个自己真正处理过的失败:一个在数据或解析层,一个在检索排序层,一个在产品边界层。每个失败按五句话准备:现象是什么,怎么定位到这一层,改了什么,用什么验证,剩下什么风险。

比如解析层,扫描件把型号里的 0 识别成 O,用户搜不到;修复是低置信度光学字符识别(OCR)走人工复核或第二套引擎;验证看型号类问题的召回;残余风险是手写体仍然差。检索层,同义问法召回不到,修复是查询改写加混合检索;验证要按问法分桶,不要只看总体。边界层,用户问知识库没有的促销政策,模型编造;修复是拒答加转人工,验证要看误答率和拒答率,拒答太多也会伤体验。

这三个失败讲清楚,面试官追问到第三层,你也有东西可答。反过来,如果只能复述“解析、切分、向量化、向量库、召回、重排、生成”,问到第二次追问就会露底。

明天要去面试的话,先别改简历上的技术栈。挑一个你处理过的 bad case,把它的现象、定位、修复和验证写成四句话,读给自己听。如果四句话里没有代价,也没有边界,那还只是架构图,不是经验。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#AI产品 #RAG #面试

评论