跳至主要内容
红队找攻击面,合规定责任边界,不能互相顶班

红队找攻击面,合规定责任边界,不能互相顶班

“请提供模型安全评估报告。”

这句话通常藏在供应商尽调问卷的中后段,后面跟着三个子问题:多久做一次、覆盖哪些场景、发现的问题由谁关闭。有些团队的第一反应是把上一轮红队报告整份发过去,几十页,用例、复现步骤、截图都有。对方看完回了一句:这份材料能说明你们每个月都在测吗?

红队报告能证明某一天有人认真打过,合规要证明的是这件事一直在被管。两句话听着接近,中间隔着一整套东西。

两个问题长得像,答案不在同一层

红队问的是:这个系统能被怎么打穿。它天然是对抗性的、探索性的,产出是样本。跑一两百条越狱 prompt,命中几十条,这个数字的含义是“存在这样的路径”,不是“有多少比例的用户会这么试”。红队报告里最有价值的往往不是那几十条,而是其中一条没人预料到的路径。

合规问的是另一件事:这类风险有没有指定的责任人、有没有写下来的控制、出了事能不能拿出证据。它要的是二元判断和一条链:义务从哪来、控制是什么、证据在哪、谁签字。一份合规文档里最难看的一句话不是“存在风险”,而是“这个风险我们决定接受,签字人是谁”。

一个在找边界,一个在划边界。找边界的人越敢往外探越好,划边界的人必须能在某处停下来签字。同一个团队里这两种角色可以由同一批人扮演,但产出的文档不能是同一份。

红队报告交上去,对方为什么不认

断点有三个。

时点。红队测的是某个版本、某个模型、某套 prompt 和工具配置。换一次模型、接一个检索源、改一版系统提示,之前那份报告的结论就失去大半效力。合规关心的恰恰是变更有没有被管住:模型升级走没走评估,评估结论有没有触发重测。对方问“多久做一次”,问的不是频率,是你们有没有把变更当成一个受控事件。

采样。一次红队能覆盖的攻击面有限,而且有偏,偏向他想到的那些。合规要的覆盖是穷举,但它穷举的是控制项,不是攻击路径。这两个“全”不是同一个全。拿“我们打了很多”去回答“你覆盖全了吗”,一定被追问。

承诺。红队报告的作者是发现者,不是风险的接受者。一份报告最多写到“建议发布前修复高危项”,它没有资格写“剩余风险可接受”。后者是组织决策,业务负责人、安全负责人,有时候还有法务,一起签。

第三条最容易被忽略。技术团队容易觉得问题都找出来了、修复建议也写了,就算尽责。不算。发现风险和执行“接受风险”是两件事,中间隔着一个有权力承担后果的人。

攻击面和义务项,不是一张地图

红队按攻击面组织:提示注入、越狱、训练数据记忆、工具调用越权、检索内容投毒、多轮诱导。合规按义务项组织:数据分类分级、告知同意、最小必要、留存期限、跨境传输、可解释性、投诉响应时限。

这两张清单对不齐。有些义务根本没有攻击面。隐私政策的告知措辞、留存到期后的删除动作、跨境传输的合同条款,这些不是打出来的,是写出来和跑出来的。红队在这类义务上给不出任何证据。

反过来,一次成功的攻击可能同时踩中好几条义务。一次提示注入让 Agent 把另一个租户的订单信息吐出来,里面同时有访问控制失效、个人信息泄露、隔离承诺违约。红队只记一条“越权读取成功”,合规要拆成三条,每条对应不同的通知义务和时限。

所以中间需要一个转换层。我倾向用一张风险登记表做这个转换层,红队的每条发现和合规的每个控制项挂到同一张表上,谁也别想只交自己那一半。

flowchart LR
    subgraph RED["红队"]
        direction LR
        A[设计攻击面] --> B[执行用例]
        B --> C[失败样本与复现路径]
    end
    subgraph GRC["合规评审"]
        direction LR
        D[识别义务项] --> E[定义控制措施]
        E --> F[证据与签字]
    end
    C --> G[风险登记表]
    F --> G
    G --> H[接受或整改]

图里两条链路各走各的,只在风险登记表处汇合。汇合之后的“接受或整改”不属于红队,也不完全属于合规,它属于对结果负责的那个人。

照清单打的红队,已经不是红队

一个常见的返工路径:团队为了应付尽调,把红队做成季度例行的安全测试,照着公开的对抗样本清单打一遍,出报告,归档。第一次交上去能过,第二次对方开始问“有没有你们自己设计的用例”。

原因不难理解。清单上的东西是公开的,能被公开清单测出来的问题,说明连已知的都还没补完。红队的增量来自清单外:这个业务特有的动作、这套工具权限的特有组合、这个行业的用户真正会说的话。

还有一种更隐蔽的退化,目标从“找问题”变成“证明没问题”。指标从“发现高危项数量”变成“高危项清零”。清零可以是修完了,也可以是测试范围收窄了,还可以是把发现降级成低危。如果上报的只有“清零”这一个数,这三种情况没人分得清,包括做这件事的人自己。

我更愿意把红队的评价指标定成两个:此前未知的失败路径数量,以及这些路径从发现到关闭的周期。前者衡量探索能力,后者衡量修复链路。遗留高危数是管理指标,容易被管理动作做平。

顺序反了,两份文档都白做

合规框架还没建起来的时候,红队可以先跑,它的发现反过来告诉你该建哪些控制。这是红队作为风险发现起点的用法,成立。

反过来的方向不成立:不会因为红队跑得勤,合规就自动成立。常见的错误顺序是先打完一轮,再照着报告补文档,结果是文档只覆盖了红队想到的东西,剩下那些没有攻击面的义务项一条没写。

正常顺序是合规先给出义务清单和风险域,红队在这些域里做深度对抗,对抗的发现回填到同一张登记表。表的结构大致长这样:

YAML15 行
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
risk_id: R-014
发现来源: 红队第二轮
攻击面: 工具调用越权
现象: 多轮诱导后调用了不属于当前租户的查询接口
影响: 跨租户订单信息可读
对应义务:
- 访问控制
- 个人信息最小必要
控制措施:
- 调用工具前强制注入租户 ID 并校验
- 高危工具二次确认
证据: 单测用例、灰度期审计日志抽样
责任人: 后端负责人 / 安全负责人
复核周期: 每次工具清单变更后
状态: 已整改待复核

模板本身不复杂,价值在于把发现、义务、控制、签字绑在同一行上。红队只填前两栏和现象,剩下几栏不是它的活。

什么时候红队确实够用

边界说清楚。

如果这套系统是内部工具,不碰个人信息,没有外部客户来尽调,最坏情况是自己人多干两天,那么一份红队报告加上团队内部修复记录,基本够用。这时候上合规评审是过度设计,成本也不对。一次像样的红队需要攻击视角的人和业务上下文的人配对,两三个人、几天到两周;合规评审是另一套人力,法务、安全、业务三方,周期按周算。小团队同时铺两条线,通常两条都做不好。

但只要出现下面任意一条,合规评审就不能省:外部客户做供应商尽调、处理个人信息、面向受监管行业、系统能对外产生法律效果(下单、签约、发通知)。不是因为它更高级,而是因为需要有人在事后说清“当时我们基于什么做了这个决定”。

flowchart TD
    A[有外部尽调或监管] -->|是| B[合规评审不可省]
    A -->|否| C[涉及个人信息]
    C -->|是| B
    C -->|否| D[红队加内部风险接受]

还有一个反向的边界。合规文档齐全、控制项全打了勾,但从来没有被真打过,那些勾是纸面的。控制写得对不对,只有被认真攻击一次才知道。这两件事的关系不是替代,是互相验证:红队验证控制是否有效,合规验证控制是否持续。

谁签字

剩下的就是组织问题。

红队报告的作者不能同时是风险的接受者,否则“我们评估过了”变成一句自证。团队小的时候这两种活往往落在同一个人身上,那至少在文档上要分开:一份写我发现了什么,一份写我决定接受什么、为什么、什么时候复核。

下次再收到“请提供模型安全评估报告”,先看它问的是“你们发现了什么”,还是“你们在管什么”。前者给红队报告,后者给风险登记表加签字页。一份材料回答不了两个问题,硬塞过去,对方一眼就能看出来。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#合规评审 #红队测试 #风险登记

评论