跳至主要内容
指标涨了,为什么我不算它变好

指标涨了,为什么我不算它变好

模拟面试里我给过一道几乎不像题的题:上周 DAU 涨了 12%,是不是变好了。

多数人三秒内开始谈留存、谈渠道质量,说得都对,但我一般会打断,问另一个问题:这个 12% 是谁算出来的。数据产品经理和普通产品经理的分界线,往往就在这一下——前者知道指标是被定义出来的,不是从天上掉下来的。

本系列第 1/10 篇 · 下一篇:一道埋点题,能问出三年经验

先确认这个数是怎么来的

我会让对方把 DAU 的定义念一遍。听起来像刁难,其实每一个词都可能藏东西。

「D」是哪个自然日?时区按 Asia/Shanghai 还是 UTC,凌晨跑批的分区边界在哪,跨天会话算哪一天,海外用户按谁的时间。这些不统一,同比环比就是在比两把不同的尺子。

「A」是哪种活跃?启动即算,还是要有一次关键行为;后台被系统唤醒算不算,Push 拉起算不算,只打开了推送落地页但三秒退出算不算。我见过一个版本把「启动」改成「进入首页且停留超过一秒」,指标没跌,但曲线当天抬了一个台阶,团队开了一周会讨论「用户为什么突然更爱我们」。

「U」用什么去重?设备 ID、账号 ID、还是打通后的统一 ID。登录前的匿名行为和登录后的账号行为如果没有映射,同一个人会被算成两个;反过来某天上了 ID 打通,历史行为一次性并进账号,去重口径会突然收紧,DAU 反而可能掉。换机、卸载重装、WebView 和 App 的 Cookie 隔离,每一条都能让「人」多出来或少掉一块。

还有一批更朴素的:内部账号、测试设备、压测流量、爬虫有没有被过滤;上游分区是不是失败后补过数;看板的筛选器默认值有没有被人顺手改过。

所以我的顺序固定是三步:口径有没有变 → 链路有没有断 → 业务有没有变。绝大多数「指标异动」,前两步就能解释完。我要求核心指标都有一行变更日志,口径调整必须在趋势图上画一条竖线,标注谁改的、为什么改、从哪天起不可比。没有这条线,历史曲线就是一堆无法解释的台阶。

增量来自哪一层

确认数据可信之后,才轮到拆结构。总量涨 12% 这件事本身几乎没有信息量,因为它可以由完全不同的原因造成。

先按维度切:新老用户、渠道、端、版本、地域、实验分组。常见的一种情况是某个投放渠道低价买进来一大批当天来、当天走的用户,总量被顶上去,而其余所有分层都在缓慢下跌。只看大盘会得出完全相反的结论,这类结构问题后面第 7 篇会专门拆。

再做一层粗略分解,把人数拆成「新增 + 上一日留存 + 回流」三类。这三类对应的动作毫不相同:新增涨了要去找投放和渠道质量,留存涨了要去看产品内的价值供给,回流涨了先怀疑是不是发了一轮唤醒 Push。我一般会在白板上写:

TEXT1 行
1
DAU_t ≈ 新增_t + 昨日活跃且今日仍活跃_t + 历史沉默用户回访_t

这里特意用约等号,因为这三类要互斥才能严格相加,实际口径里「沉默多少天算回流」各家不同,写清楚比算得漂亮重要。

然后对齐时间线。把发版、Push 策略调整、投放起量、大促、节假日、甚至上游供应商故障,全部画到同一张时间轴上。人脑很擅长事后编故事,但一张带竖线的时间轴能挡掉大半。如果涨幅恰好从某次客户端版本灰度那小时开始,我第一反应是埋点变了,不是用户变好了。

涨的代价记在哪个账本

最后一问:这次涨,是用什么换来的。

Push 唤醒能把 DAU 拉起来,但通知关闭率、卸载率、投诉量会在后面几周慢慢结账;补贴拉新能把新增拉起来,获客成本和七日留存是另一本账;把「活跃」定义放宽,数字立刻好看,但公司里从此没人知道真实活跃是多少。所以我给每个核心指标配一组护栏,并且要求护栏和主指标放在同一张图里,不允许分开汇报。

还有一类是纯虚荣指标:曝光次数、弹窗次数、埋点上报条数。它们涨得非常容易,只要多弹一次就行,而打扰成本从来不记在自己头上。判断一个指标能不能当北极星,我用一个很土的方法——写下「要让这个数字涨,最省力的作弊方式是什么」。写得出来,就说明它必须配护栏;写不出来,通常是我还没想明白它到底怎么算的。

这一题的区分度大致是这样:会拆渠道的算及格;先问口径和链路的算好;最强的回答会主动补一句「如果结论是这次涨不该算好,我会怎么向管理层说」。因为真实的难点从来不是分析,是你要在一个已经把 12% 写进周报的会议室里,把这句话说清楚,还给出下一步验证方案。

下次再看到涨幅,我还是会先去翻口径变更日志,再打开漏斗。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#指标体系 #数据产品 #面试

评论