用户改不动的那一刻,个性化就已经失败了
一个记忆型助手记住了“这个用户偏好简短回答”,几个月里执行得很好。某天用户需要一份完整方案,输入“说详细点”,拿到三句话,末尾附一句“需要展开可以告诉我”。用户又说“再详细些”,这次展开了,但仍然压着讲。第三次用户没再问,自己动手写了。
这里没有模型能力问题,模型完全写得出长文。问题在产品只给了“说一句”的通道,没给“改掉那条判断”的通道。前者是提示词,一次的,作用在当轮;后者是数据,长期的,作用在之后所有轮。
个性化系统的默认目标是少问、直接给对。要让这个目标成立,它必须积累关于用户的判断:偏好、习惯、场景、禁忌。判断越准,体验越顺。同一个机制反向运行时却是坏的:判断越准,系统越有理由不相信用户的反驳,因为一条反驳是孤证,支撑那条判断的是几十上百次行为。
这就是我想说的取舍:个性化做到某个程度,可纠正性会比准确率更早成为瓶颈。准确率掉几个点,用户能感知到并且抱怨;纠正不了,用户不抱怨,直接走。
沉默被读成了同意
个性化系统的信号结构是不对称的。隐式信号包括点击、停留时长、划走、采纳建议、复制输出,一个活跃用户一天能产生几十到几百条。显式信号是用户主动说“不对”“不要这样”“以后别给我这种”,一个月个位数,重度用户可能也就十几次。
两个数量级的差距。任何把这些信号塞进同一个回路、按条数累计的做法,结论都是预先写好的:显式纠正几乎不起作用。系统并非不听,问题在于其中的纠正信号被稀释了。
更麻烦的是隐式行为本身歧义极大。用户点开一篇讲裁员的文章,可能是关心行业,可能是自己焦虑,也可能只是标题写得狠。系统读到的是“感兴趣”。第二天信息流里全是负面职场内容,用户想纠正,手里只有一个“不感兴趣”,而它要和昨天那几十次点击对抗。多数人在这里就放弃了,放弃的方式不是关掉个性化,是滑得更快。
还有一种更隐蔽的后果:用户开始不确定自己看到的东西是自己的偏好,还是系统加固过的偏好。这个怀疑一旦成立,个性化推荐的可信度就没了。它不再是“帮你筛选”,而是“替你决定”。这时候准确率再高也没用,因为用户不认这个准确性。
三种“你错了”,系统通常只接住了一种
用户说“不对”的时候,说的其实不是同一件事。
| 用户在说什么 | 例子 | 该改的地方 | 常见错误处理 |
|---|---|---|---|
| 这次内容错了 | 引用了旧版本的政策 | 当前结果加事实来源 | 重生成一次,什么都没记住 |
| 我不喜欢这种表达 | 别用这个语气跟我说话 | 画像里的风格项 | 只改当前这一句 |
| 我的情况变了 | 我现在不带团队了 | 画像项加时效与作用域 | 当成噪声,因为与历史行为冲突 |
三类混在一起处理,结果是三类都处理不好。第一类需要可追溯的事实修正,和个性化没关系;第二类要写进画像,还要写清作用范围;第三类最难,它不是“你错了”,而是“你对过,但现在不对了”,系统必须允许判断过期,而不是把新信号当成异常值。
多数产品的纠正入口只覆盖了第一类:重新生成、点踩、报错。这三个动作改的都是当前这一次。用户真正想改的第二类和第三类,没有对应的操作。
纠正的粒度不能比记忆的粒度更细
这条是我认为最容易被忽略的约束:纠正能力的天花板由记忆结构决定,不由入口设计决定。
如果画像里只存一句话“用户喜欢简短”,用户能做的只有两种:接受,或者全盘重置。他没法表达“聊天要简短,写方案要详细”。产品就算放十个按钮,也表达不了这个意思。所以记忆项至少要带三个字段:作用域,在哪些场景生效;来源,从哪次行为推出来的;时效,什么时候失效。纠正入口的选项要和这三个字段一一对应。
- 缩小作用域:只在日常对话里简短,写文档时详细
- 否定来源:那次点开是因为好奇,不是兴趣
- 提前过期:这条判断从现在起不算数
如果这三件事都做不到,那这个产品其实没有“个性化”,只有“累积”。累积是没有纠正概念的,只能清空重来。而清空的成本高到用户不会做第二次。
一条显式否定,该压过多少条隐式信号
隐式信号按条计,显式信号也按条计,是很多系统的默认实现,也是最容易出错的地方。一条否定对几十条点击,等于没否。
更合理的做法是给显式否定一个下限权重,并且限定作用域。我给不出普适常数,但可以给一个起点:一条明确的否定,在它所指的那个作用域内,大致等价于几十条同向的隐式证据。这个系数的校准方法是回放,把历史上的纠正事件捞出来,看旧系统里这类纠正平均要重复几次才生效。如果一个纠正要重复五次以上系统才改,说明权重被稀释了,把系数往上调;如果改一次就把整条画像推翻,说明系数过高,用户后面会被自己反复变化的临时偏好带着跑。
还有一层是通道设计。显式纠正最好不参与隐式信号的排序竞争,而是直接改写画像字段,并打上“用户指定”的标记。隐式信号只能在这个字段的作用域外围做微调,不能覆盖它。这条规则的价值在于它是可解释的:用户可以问“你为什么觉得我喜欢简短”,系统能回答“你在某类场景里连续跳过长回答,且你在某处指定过”。
组织上有个常见的失败路径:个性化由算法团队负责,纠错入口由产品团队负责,两边的指标不共享。算法侧看接受率和时长,用户点踩产生的负样本在数据清洗阶段被当成噪声剔除,理由是“与行为序列不一致”。这不是谁偷懒,是两套指标各自合理,合起来就把纠正通道废掉了。纠正事件必须进入算法侧的核心指标,而不只是产品的体验指标。
否定不是删除,是状态迁移
一条记忆从被推断出来到最终失效,中间应该有多个状态,而不是只有“在”和“不在”。
stateDiagram-v2
[*] --> 候选
候选 --> 生效: 隐式信号累积
候选 --> 丢弃: 证据不足
生效 --> 待复核: 用户否定
待复核 --> 撤销: 确认判错
待复核 --> 生效: 属一次性
生效 --> 过期: 超过时效
撤销 --> [*]
过期 --> [*]用户说“这次不对”时,直接删掉那条记忆是最省事也最糟的处理。删掉之后系统失去上下文,下次从零开始学,用户还得再教一遍。正确的动作是把它移到待复核,再按意图分流:一次性的需求只影响本轮,长期的变化才回写画像。
一次性与长期的区分,不能靠系统猜,必须问。这里的交互成本值得花,一次点击换后面几个月不用重复说。很多产品不敢问,怕打断,结果是把判断成本全部推给用户,用户在第三次重复时就不说了。
指标:重复纠正率比纠正率有用
个性化相关的指标里,“纠正按钮点击率”几乎没用。点得少可能是没意见,也可能是找不到入口,还可能点了没用所以不点了。
三个更接近真相的量:重复纠正率,同一个用户对同一类输出纠正两次以上的比例;纠正放弃率,可以用会话内的重复追问、转人工、直接离开来代理;纠正后复现率,纠正之后同类问题在多长时间内再次出现。
第一个指标最有诊断价值。用户重复纠正,说明他还在乎,还愿意教;重复纠正率高而效果不变,说明通道是假的。等到重复纠正率开始下降,不一定是修好了,可能是用户已经放弃了。这时候要结合留存和主动使用率一起看,别把放弃当满意。
顺带说一个反直觉的现象:把用户纠正当负样本喂回模型,如果不区分“改内容”和“改风格”,模型学到的是“少说”,不是“改这里”。表现是输出越来越保守、越来越模板化,接受率反而下滑。纠正信号的类型不拆开,就不能直接当训练信号用。
有些场景不该开这条通道
不是所有产品都需要。
无状态的产品,每次会话独立、没有画像,本来就没有“信念”可纠正。硬加一个“我判断错了”的入口,会让用户误以为系统记住了什么,反而制造困惑。
安全与合规相关的策略,可以解释,不能被纠正。这里最容易犯的错是把“纠正”和“申诉”混进同一个入口,用户点进去以为规则可以谈,实际上只能拿到一个模板回复。分开做,纠正针对偏好和事实,申诉针对规则和判定。
高风险场景,纠正要留痕。医疗、金融、法务类的输出被纠正时,得记录是谁、在什么上下文里改的,因为责任归属需要这条链路。这不是普通个性化通道能承担的。
还有一种情况:一次性任务不该写入长期画像。用户为了一次临时需求说了句“用表格给我”,系统如果把它记成长期偏好,就是过度学习。写入前先判断这个需求是否可复用,判断不了就别写。少记一点,比记错一条便宜。
评审时先问这一句
下次评审个性化需求,我会先问一个问题:如果用户现在要推翻系统对他的某个判断,这个操作会落到哪一层数据上?
答不出来,或者答案只有“重新生成”,说明这个需求只有积累机制,没有纠正机制。它可以上线,但用户会在某个时刻发现自己被锁在一个改不动的画像里,然后换一个产品。
个性化真正的承诺是“我懂你,而且你可以随时纠正我”。后半句不写进产品,前半句迟早会变成负担。
评论