创作 Agent 帮创作者走完选题、找素材、写初稿、改写、发布。团队看两个数：任务完成率 68%，日活稳中有升。老板要两周后给 go/no-go。运营抽样却发现，40% 的初稿被大幅重写后才发布。
这道题考的不是「再多加几个指标」。它是要看候选人能不能发现：现有指标的定义里，混进了大量不代表价值的行为。
本系列第 5/10 篇 · 上一篇：「那它呢」到底指谁 · 下一篇：成功率从 85% 掉到 61%，先别急着修超时
完成率为什么骗人
「任务完成」的定义是用户点了完成且未中途取消。这个口径里至少混着三种完全不同的行为：真的用了、勉强接受（重写一遍比自己写还累，但不想再跟它纠缠）、以及耐心耗尽后随便点掉。第三种尤其麻烦——用户放弃得越干脆，指标越好看。
更根本的问题是，完成率量的是「流程走完了没有」，不是「产出被用了没有」。创作类产品的价值发生在发布之后，而完成率在发布之前就停了。日活补不上这个洞：新功能的新鲜感能撑两周，恰好覆盖老板要的观测周期。
四层指标框架
| 层 | 指标 | 口径与数据源 |
|---|---|---|
| 北极星 | 创作者次周留存（有有效发布的创作者占比） | 内容库 + 账号活跃，按周去重 |
| 过程 | 各环节转化率、平均干预次数、重试率 | 前端埋点，按环节漏斗 |
| 质量 | 有效采纳率、编辑距离中位数、发布后 24h 撤回/大改率 | 生成稿与最终发布稿 diff + 内容库事件 |
| 护栏 | 事实错误率、违规率、单次成本、P95 延迟、投诉率 | 抽样人工评审 + 风控日志 + 计费日志 |
每层至少两个，且质量层必须有一个来自用户行为而不是打分。满意度评分在这个场景里几乎没用：只有极满意和极不满的人会点，中间那一大段沉默用户才是主体。
一个能替代完成率的指标
有效采纳率 = 生成内容经不超过 20% 编辑后进入发布、且 24 小时内未撤回的会话数 / 有产出的会话数。
三个细节决定它是不是真指标：
- 编辑距离怎么算：按段落对齐后的字符级改动比例，不算格式与标点，纯排版调整单独归为「零改动」。
- 阈值为什么是 20%：先拿运营那批抽样做校准，把「大幅重写」和「小修」分开，找一个能把 40% 那批准确切出来的分界，而不是拍一个整数。阈值一旦定了就版本化，不能每周调。
- 为什么加 24 小时：防「先发了再说、回头删掉」。这类行为在采纳率里会被算成成功。
它和完成率并列保留，不替换。两个数一起看才有信息量：完成率高、有效采纳率低，说明产品在制造「完成」；完成率降、采纳率升，多半是流程变严了，反而是好事。
两周 go/no-go 怎么写才敢签字
- 观测周期：至少覆盖一个完整创作周期（多数创作者是周更，所以两周是下限而非上限），并剔除前 3 天的新奇效应。
- 主判据：实验组有效采纳率相对对照组的提升，置信区间下界 > 0；只有一个点估计不算数。
- 必须同时满足的护栏：事实错误率与违规率不劣化（抽样评审口径提前定）、单次成本不超预算、次周留存不下降。任何一条不满足，一票否决，不进「综合评估」。
- 不显著时怎么办：延长观测或缩小到高价值分层看，而不是默认通过。「没测出变差」不等于「值得上线」。
我还会提前把判定规则写在实验方案里、让老板和相关方签字。事后再讨论阈值，一定会往对自己有利的方向挪。
离线分数和线上数据背离时
对应关系先建起来：离线评测集的「结构合法率 / 忠实度」对应线上的编辑距离，「无依据陈述率」对应事实错误率与撤回率。有了这张映射，背离才有得谈。
真背离了，以线上为准，但要查评测集：多数情况是评测集分布漂了——早期样本全是短文本纯选题，签了几个长文档客户后，输入换了一整类。这时正确动作是把线上失败样本回灌评测集（只增不改），而不是宣布「线上数据有噪声」。只有一种情况我会怀疑线上：埋点口径改了或同期上了别的改动，那先做归因，不谈指标好坏。
追问：北极星选发布量还是次周留存
我选次周留存，发布量降为过程指标。理由是发布量太容易被产品自己抬高：一键发布、降低发布门槛、多推几次提醒，都能让数字涨，但它跟「帮创作者省了时间、愿意下周还来」并不等价，极端情况下低质内容还会反过来伤害分发。
代价也要说清：留存滞后、样本量要求大、两周内很可能读不出显著变化。所以我给一个组合判据——短期用有效采纳率做决策，用次周留存做方向校验；采纳率涨而留存连续三周不动，就回去查是不是只在优化「更容易点完成」。
我会怎么看答案
及格：说完成率不够，要加采纳率/满意度。良好：搭得出分层、写得出采纳率口径、go/no-go 带护栏。优秀：能指出完成率把「放弃」算成成功、给阈值一个校准方法、提前固定判定规则、并且说清离线与线上背离时的处理顺序。
红旗是「综合评估」。凡是两周后要靠一场会来讨论「整体感觉不错」的，说明指标没定完。
指标不是为了证明产品变好了，是为了让「不发布」这个决定也有据可依。
指标定完了，最难受的情况还是会发生：上线六周，成功率从 85% 掉到 61%，而工程只给两周。
评论