跳至主要内容
「我们的数据会形成飞轮」,我把这句话拆成三个问题

「我们的数据会形成飞轮」,我把这句话拆成三个问题

面 AI 产品经理,十个人里有六个人会提到数据飞轮,通常出现在回答「你们的壁垒是什么」的时候。句子都很顺:用户越多,数据越多,模型越好,体验越好,用户更多。

我会接着问三个问题:你手上是哪一类数据,这个信号有多脏,从信号到产品变好要多久。

三个都答得出来的人不多。

三类数据,多数产品只拥有第一类

输入数据是用户给了什么:一段话、一份文档、一张截图。这类数据最好收集,也最没用——它只告诉你用户想干什么,不告诉你产品干得好不好。

交互数据是用户怎么反应:直接采纳、改了几个字、重新生成、关掉页面。它离「好不好」近了一步,但最容易被误读。

结果数据是业务上成没成:工单有没有真的解决、邮件有没有人回、代码有没有合进主干。这一类才有资格谈飞轮,因为它跟价值直接挂钩。

我面过的一个团队做会议纪要,用户量不小,数据仓库里存了几十万条录音转写。我问他们的飞轮靠什么转,答案是「数据多」。可他们没有任何一条记录能回答「这份纪要有没有人真的拿去用了」。只有输入,没有反馈,这堆数据只能做分析,喂不动任何迭代。

所以第一个问题其实在问:你有没有一条从使用到结果的链路。没有的话,先别谈飞轮,谈怎么把链路建起来。

隐式信号很脏,脏得超出想象

假设你决定用「用户没有修改」当作满意。这个假设在多数场景下不成立。

他没改,可能是没看。可能是扫了一眼觉得差不多。可能是已经放弃,只是还没来得及关。反过来,「复制走了」看着像好评,实际上经常是拿去别的地方改——因为你的编辑器不好用。

显式反馈更稀缺,而且偏。只有体验特别好和特别差的人会点,中间那一大段沉默的用户,才是产品的主要使用者。

我的处理方式是把信号分强度。强信号是「采纳后直接对外发出」,比如生成的回复直接发送、生成的代码直接提交,这种信号背后有成本,用户不会随便做。中信号是小幅修改,说明方向对、细节不对。弱信号是停留时长、滚动、二次点击,只能用来发现问题,不能用来训练。

分层之后,你会得到三个不同的用途:强信号做评估、中信号做失败模式分析、弱信号做预警。混在一起当成一个「满意度分」,就什么都做不了。

还有一个常被忽略的来源:用户的修改本身就是标注。他把「请您尽快处理」改成「麻烦今天下班前回复」,这一对差异告诉你的信息,比一百个赞都具体。能不能把这个差异结构化地存下来,是产品设计问题,不是数据团队的问题。

冷启动的时候不要假装有飞轮

第一天没有数据,这是常识,但很多方案写得像数据已经在那儿了。

现实的做法是先用规则和人工顶住:意图识别用关键词,回答从文档里检索,检索不到就转人。这套东西很土,但它能上线,能拿到真实输入,能让你开始积累失败案例。

我把它叫人肉飞轮:每周固定时间,把本周的坏例子捞出来,归因、改提示词、改检索、改交互,下周再看。转得很慢,一次一周,但它是真的在转,而且不需要训练管线。

等积累到几百个稳定标注的案例,再谈自动化和模型迭代。跳过这一段直接搭训练管道,通常会得到一套没人维护的基础设施,和一份三个月前的数据集。

转速取决于闭环时间,而不是数据量

飞轮这个词容易让人想到规模,实际决定它有没有用的是周期。

从「用户点了不满意」到「下一版变好」,中间要经过收集、归因、标注、修改、验证、发布。这个链条如果是三个月,一年只转四次,那它就不是飞轮,是年度项目。

缩短周期的手段都不新:固定评测集让验证变快,bad case 库让归因不用从零开始,灰度和开关让发布不用等版本,自动化回归让改动敢做。这些东西的价值不在技术含量,在于它们把「一次改进」的时间从月压到周。

链条里最慢的一环通常不是训练,是决策和标注。谁来判定这条样本应该怎么标,谁有权决定这周改什么,这两个问题没有答案,流程就会卡在会议里。

所以我会追问第三个问题的细节:上一版改了什么、依据是哪几条样本、改完怎么验证、用了几天。答得具体,说明这套东西在跑;答得抽象,说明它存在于 PPT 里。

数据不是壁垒,可积累的东西是

这一层最不好听。

同样的任务,竞争对手也能收到分布相似的数据。你有的输入,别人也有;你能看到的采纳率,别人也能埋点。数据本身不构成壁垒,除非它稀缺、独占、且合法可用。

合法这一条经常被忽略。C 端产品的用户协议里通常没有写「你的对话会被用于训练」,写了也未必经得起推敲;B 端合同里禁止把客户数据用于训练的条款越来越常见。也就是说,很多团队手里那堆「壁垒」,实际上是不能动的。

通过第三方 API 调用时还有一层:数据会不会被供应商用于改进模型,取决于条款和配置。这件事要在采购阶段确认,而不是等出事再翻合同。

那什么能积累?

领域评测集和标注口径是第一个。它不在模型里,在团队里,别人复制不了你的判断标准。失败案例库是第二个,它记录了这个领域所有恶心的边界,越用越厚。第三个是用户已经嵌进工作流的习惯——当你的输出直接进了他的审稿流程、进了他的工单系统,切换成本就不再是「换个工具试试」,而是「重做一遍流程」。

飞轮不是名词,是动词:一套每周都在转的流程。没有流程,数据只是存着。

我自己的判断标准很简单:如果明天核心模型能力提升一大截,你的产品会不会立刻被别人复制。如果答案是会,那你积累的东西还不够硬;如果答案是不会,通常是因为你积累的是流程和判断,不是数据量。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#AI 产品 #数据飞轮 #面试

评论