两百份文档、日均八条反馈，飞轮从哪儿转起

垂直行业知识助手，To B 交付。新客户签约后只有 200 份文档、零历史问答日志，首月准确率 62%，合同写的是 80%。团队画的飞轮很标准：提问 → 点赞点踩 → 人工修正 → 回流索引与训练。可客户不愿出标注人力，实际反馈稀疏到日均 8 条会话、点踩率不到 3%。

我出这道题，是想看候选人能不能承认一件事：这个飞轮现在根本不存在。它既没有输入（没日志），也没有传动（没人标注），画在 PPT 上的圈不会自己转。

本系列第 9/10 篇 · 上一篇：2.5 秒和两毛钱，降级顺序是一份产品决策 · 下一篇：C 端要它别问我，B 端要它每一步都能查

前四周：别假装有飞轮

62% 到 80% 的差距，通常不是模型不行，是资料没被整理成能检索的样子。前四周我不碰训练，按顺序做四件事：

1. 修文档层：200 份文档里先把表格、条款编号、版本号、生效日期抽成结构化元数据，作废版本隔离。这一步对准确率的贡献，往往比换嵌入模型大得多。
2. 建问题—文档映射：请客户业务专家用两小时列出 30–50 个真实问题（不要求写答案），标出每个问题该由哪份文档回答。这 30–50 条既是种子评测集，也是后续验收的基准。
3. 补权威资料：行业规范、公开标准条款、产品官方手册，用来兜住「客户文档里没写但用户一定会问」的部分。合规前提逐条写清——版权与授权、是否脱敏、是否允许出域、是否可用于评测与训练，采购阶段就要确认，不能等出事翻合同。
4. 定拒答边界：查不到就说查不到，并给出人工出口。这一条能把「编造」那部分错误直接从 62% 里剔出去，且当天就能上线。

顺序上先修资料、再定拒答、最后才谈优化。这四周的目标不是 80%，是让剩下的 20pt 差距变得可归因：哪些是文档没覆盖、哪些是检索没找到、哪些是生成没忠实。客户能接受一个带清单的 70%，不接受一个说不清怎么来的 80%。

反馈要零额外成本

显式点踩只有 3%，而且偏：只有特别好和特别差的人会点。我完全依赖隐式信号，但把每个信号的可推断结论与不能推断的东西写清楚：

信号	可推断	不能推断
复制 / 导出 / 把引用链接转发给同事	强信号：答案被拿去用了	是否被改动过、最终结果如何
同一问题重问或改写重问	中信号：没答全或没看懂	具体错在哪一步
点击引用原文、展开来源、长时间停留	弱信号：用户在核验	核验通过还是放弃
用户把答案某段删改后再发出	最强：修改本身就是标注，可结构化成 diff	无授权时不能用于训练

前三类只能用来发现问题和做分层预警，不能直接喂进训练；第四类是最有价值的一对样本，但要在产品里留得住 diff 才有。这里有个产品设计的分寸：不要求用户「标一下哪里错了」，而是让他正常完成工作，系统从行为里捡信号。

我还会把信号按强度分用途：强信号进评测集做验收，中信号进失败模式聚类，弱信号只做异常预警。混成一个「满意度分」，就什么都做不了。

闭环的分流规则

反馈回来之后，去哪儿必须写死，否则最常见的结局是「全倒进知识库」，三个月后库里全是没审过的生成内容。

反馈类型	去向	生效条件
事实纠错、新增/替换文档	知识库与索引	审核后生效，带版本号与生效日期，可回滚
争议问答、典型失败	固定评测集	只增不改，单独留一份留出集
成对的「用户修改 diff」	提示词/模板，攒够量级才考虑模型优化	需合同授权，且先做离线验证
线上模型自己的输出	哪儿都不去	禁止直接回灌索引

防污染的四条机制：每条回流带来源与审核人、争议样本双人复核、过期版本物理隔离、全链路有回滚开关。还有一个反直觉的点——评测集不能被拿来调参又拿来汇报，所以必须切开发集、验证集、留出集；留出集只在季度复盘看，否则分数会被慢慢养熟。

「转起来了」怎么判，首月怎么汇报

我不看数据量，看周期和覆盖率：

• 闭环周期：从反馈产生到经审核生效的中位天数 ≤ 7 天。
• 自动归因覆盖率：有结构化标签的失败会话占比 ≥ 70%。
• 留出集准确率周环比不降，且提升能归因到具体回流批次，而不是同期改了提示词。
• 种子评测集从 62% 出发的分层进展：文档覆盖类、检索类、生成类分别涨了多少。

判据写具体一点：连续四周都有经审核的回流样本、留出集提升可归因、闭环中位天数稳定在一周内，才叫转起来了。只有一堆日志没有流程，那是数据仓储，不是飞轮。

首月汇报我不会承诺一次性到 80%。给三样东西：分层准确率与覆盖的问题类型、未达标部分的逐条清单与时间点、以及需要客户配合的事项（补齐哪些文档、指定谁审核回流）。把差距变成双方共同的任务清单，比在验收会上争一个总数有用。

追问：数据禁止出域

断在跨客户汇总、云端评测、集中式训练这几段，也就是飞轮里「跨客户复用」的那一半。补法有三条：

• 客户侧本地建索引、本地评测集、本地跑回归，厂商不接触原文；
• 只回传脱敏后的失败模式与统计（哪一类问题、哪个环节、多少条），不回传内容；
• 把可积累的东西从「数据」换成「交付物」：评测集与标注规范、回归脚本、索引构建与迁移工具、失败案例库的模板。

这时候壁垒的形态也变了：不再是「我们有更多数据」，而是「我们更懂这个领域的题该怎么判对错」。这话听着没那么性感，但它是数据不出域时唯一能积累的东西。

我会怎么看答案

及格：说要多收集反馈、做数据飞轮、请客户标一些数据。良好：有前四周的替代数据来源、能列几种隐式信号、知道反馈要分流。优秀：先修文档层而不是先换模型、把每个隐式信号的可推断边界写出来、给出闭环周期而非数据量作为判据、并且能在数据不出域时把飞轮重画一遍。

最常见的失分是把冷启动答成「先上线攒数据」。客户签的是 80%，他没有义务替你承担前三个月的低质量。

飞轮不是名词，是一套每周都在转、且有人负责签收的流程。

最后一道题回到产品形态本身：同一套底座，为什么卖给企业和个人会长成两个样子。