跳至主要内容
日志留存越久越安全?那是把负债当资产

日志留存越久越安全?那是把负债当资产

一个常见的合规评审场景:评审方问关键操作日志留存多久,团队答“永久保留,最安全”。对方追问一句,日志里有没有手机号、身份证号、会话内容?会议室往往就安静了。

这个问题之所以戳中要害,是因为它把两件被混在一起的事拆开了。审计要的是“发生过什么,能不能证明”,隐私最小化要的是“别留下不该留的”。前者关心证据在不在,后者关心数据在不在。团队如果只有一个“日志”概念,就只能给出一个策略,而这个策略一定会在某一边出问题。

我的判断是:留存时长不是安全属性,是风险和成本属性。把日志留得越久,得到的不是更安全,而是更大的泄露面、更贵的检索、更难说清的数据地图。

“不少于六个月”被读成了“越久越好”

《网络安全法》里被引用最多的那条要求,是采取监测记录网络运行状态、网络安全事件的技术措施,并留存网络日志不少于六个月。“不少于”是下限,不是目标。但落地时,很多团队把它执行成了“六个月是底线,那留三年总不会错”。

这个推理有两个漏洞。

第一个漏洞:日志是敏感数据密度最高的地方之一。一个普通的 Web 请求日志里可能有 IP、User-Agent、URL 上带的 token、请求体里的手机号;一个模型调用日志里可能有用户完整的对话、上传的文档片段,甚至证件照片的识别结果。这类数据每多留一天,就多一天被越权查询、被内部导出、被测试环境误拉、被备份带走的概率。

第二个漏洞:留得越久,可用性越差。日志库不是博物馆,它是查询系统。三年数据意味着索引更大、冷热分层更复杂、字段结构变化更多。真出事的时候,你要在三年里定位那二十分钟,而很多老字段早就没人维护了。留住和能查是两件事。

日志不是一类东西

把所有日志塞进一个保留策略,是这类问题的根源。真实系统里至少有这么几类,风险和用途完全不同:

类型 典型内容 个人信息密度 我倾向的保留期
审计事件 谁在何时对哪个对象做了什么、结果 低,只有 ID 180 天到 1 年
业务操作 订单状态、配置变更、审批流转 中 90 到 180 天
应用调试 请求参数、响应体、堆栈 高 7 到 30 天
模型调用 prompt、模型输出、工具调用入参 很高 7 天以内,或只留摘要
安全日志 登录、鉴权失败、越权尝试 中 180 天

这张表的关键不在具体天数,而在最后一列的差异:审计事件可以长留,因为它的字段是动作和对象,不含业务内容;模型调用日志必须短留,因为它是用户原话的副本。用一套策略覆盖这五类,等于让最敏感的那类决定了所有类的下限,最后一定是过度保留。

而且很多日志系统是按服务组织的,不是按数据敏感度组织的。这是工程上的自然结果,服务自己打日志最方便。但要分级留存,就得在写入侧加一层判断:这条日志属于哪个通道,字段要不要脱敏,能不能直接写入原文。

一条日志在写入时该走哪条通道,可以压成四个判断:

flowchart TD
    A[日志写入] --> B{是否含个人信息}
    B -->|是| C[写入前脱敏或哈希]
    B -->|否| D{是否审计事件}
    C --> D
    D -->|是| E[审计通道长保留]
    D -->|否| F{是否用于排障}
    F -->|是| G[调试通道短保留]
    F -->|否| H[不落盘只留指标]

这条链路里最靠前的一步是脱敏,不是保留期。很多讨论一上来就争“留 30 天还是 90 天”,但如果原文里带着手机号,30 天和 90 天的区别只是暴露窗口的长度,不是风险的有无。先在写入侧把不该留的字段去掉,保留期的讨论才有意义。

留得越久,审计反而越难

这一条和直觉相反,但在实际排查里非常明显。

日志留存时间变长,噪音是按天累积的。假设一个中等规模的服务每天产生两百 GB 日志,一年就是几十 TB 的量级。这里的主要成本不是存储费,是索引和查询。冷数据要能被检索,就得建索引或者走归档扫描,查询延迟从秒级变成分钟级。值班的人等不了,就会主动缩小时间窗口,最后查的还是一小时内的数据。三年留存带来的实际审计能力,可能还不如三十天留存加一套好的检索。

第二个问题是结构变化。三年里服务重构过两次,日志字段改过名字,某个关键字段两年前叫 uid,后来改成 user_id,再后来放进了嵌套结构。老日志还在,但查询语句已经对不上。这种情况下,“我们有三年日志”是一句无法验证的话。它和备份是一个道理:没做过恢复演练的备份,不能算备份。

第三个问题更隐蔽:日志越多,越容易把真正重要的信号埋掉。审计要的是关键事件,不是全量流水。如果所有东西都进同一个池子,审计方拿到的是一堆需要现场筛选的原始数据,而不是一条能直接读的证据链。

我的取舍是:宁可把审计事件做窄做深,也不要全量留存。窄是指字段固定、结构稳定、只记录动作和对象;深是指保留期长、只追加不可改、访问有审批。这两件事加起来才是“可审计”,单靠留得久堆不出来。

到期删除怎么不丢证据

分级留存最大的阻力不在技术,在心理。业务方会问:删了以后出问题怎么办。

这个担心是合理的,但可以拆开看。你需要长期保留的,往往不是原文,而是“原文在当时存在且未被篡改”这个事实。这两者可以分开存。

一种做法是证据分层:审计事件走独立通道,结构化、体积小,保留一年甚至更久;原始请求体和响应体走调试通道,保留两周,到期物理删除;对必须证明完整性的部分,按天做一次哈希,把哈希写进不可篡改的存储,原文删掉,哈希留着。将来要证明那天的日志没有被事后修改,哈希能派上用场,而用户的原话已经不在库里了。

另一种做法是采样留存:模型调用日志不全量写入,按比例采样,采样后的内容做脱敏,只用来做效果分析和 badcase 复盘。全量日志解决的是“某一次具体请求出了什么问题”,采样日志解决的是“这一类请求的错误率是多少”。大部分时候,产品团队要的是后者。

删除本身也要留痕。删除任务的执行记录、删了多少条、删的是哪个时间分区,这些都要进审计日志,而且要能被抽查。我见过的情况是:保留策略写在文档里很漂亮,实际跑起来因为一个配置没生效,日志库已经三年没删过东西。策略合规和执行合规是两件事,后者需要定期验证,比如每季度抽一个分区,确认它真的没了,而不是只在控制台上看到一个“已过期”的标签。

这一块可以固化成配置,而不是靠人记:

YAML16 行
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
retention:
audit_event:
fields: [actor_id, action, object_id, result, ts]
keep_days: 365
store: append_only
biz_operation:
keep_days: 180
pii_fields: hash
app_debug:
keep_days: 14
drop_fields: [request_body, response_body, cookie, authorization]
model_call:
keep_days: 7
mode: summary_only
security:
keep_days: 180

这份配置里真正重要的不是天数,是 drop_fields 和 mode: summary_only 这两行。它们决定了哪些数据从一开始就不进库。写在删除侧的策略总会遇到执行不到的时候,写在写入侧的策略不会。

一条日志该留多久,先问三个问题

如果要给一个能复用的判据,我会用这三个问题,顺序不要换。

第一,这条日志里有谁的什么数据。如果里面有用户原话、证件号、位置、联系人,先脱敏再谈保留期。能不能只留 ID 和结果,不留内容?

第二,谁会读它,多久读一次。如果一类日志三十天内没有任何人查过,保留期就应该重算。这不是说要立刻删,而是要说清楚,留着它是为了哪个具体场景。答不上来的,就是默认永久保留在偷偷占位。

第三,如果它明天整库泄露,最坏后果是什么,能不能对外解释。这一问会立刻把日志分成两堆:一堆泄露了是公关事件,一堆泄露了只是内部尴尬。前者必须短留,或者不留原文。

三个问题问完,保留期基本就定了。剩下的工作是把它写进配置、加进评审、定期验证。

什么情况下不能照这个来

上面这套分级逻辑有一个明确的适用边界:它假设你的留存义务来自审计和排障,而不是来自明确的行业监管。

金融的反洗钱、医疗的病历、部分行业的交易记录,监管对保留期有硬性规定,五年是常见的量级。这种情况下拿隐私最小化去对抗明确法规是不明智的,合规义务优先。可做的空间在别处:加密存储、按项目分域、访问双人审批、导出留痕、定期做权限回收。核心是那句被说烂但确实成立的话,保留不等于谁都能读。留存期服从法规,可读性服从最小必要。

另一个边界是内部越权追责。如果日志是查清某次违规操作的唯一证据,删早了就是自废武功。这时候的解法不是把所有日志都延长,而是把审计事件单独拆出来,保证“谁在什么时候动了哪个对象”这条信息足够长、足够完整。业务明细可以短,动作记录要长。

反过来,也有一类团队的问题不是留太久,而是留太短:线上出问题要复盘,发现关键日志只留了三天,事故还没定位完数据就滚没了。这属于另一个坑,通常是因为日志被当成纯成本项,没人对“排障需要多少天”负责。调试类日志至少应该覆盖一个完整的发布周期加一个观察窗口,两周是个比较稳的起点。

回到开头那个评审场景。下次有人问日志留存多久,先别急着给数字。先问一句:哪一类日志,里面有谁的什么数据,谁会读它。这三个答案出来,保留期不用争,它自己就浮出来了,剩下的争论只会集中在具体字段要不要脱敏这种能当场拍板的事情上。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#合规 #日志留存 #隐私

评论