一次长上下文方案评审,算法同学给出一页材料:把注意力从全连接改成块稀疏,复杂度从平方降到线性,问能不能下周上线。产品侧关心首 token 延迟和单次会话成本,工程侧关心现有算子能不能复用。没有人先问一句:省下的是浮点运算量(FLOPs),还是时间?
先别问省多少计算,先问卡在哪
稀疏注意力的理论账很漂亮。全注意力要对每个 token 和所有历史 token 算相关性,序列翻倍,计算量按平方涨。局部窗口、全局 token、块稀疏、动态选取前 k 个连接,这些方法把连接数砍掉,复杂度可以降到线性或者接近线性。论文里画一张稀疏连接图,确实比密密麻麻的全连接图清爽。
但线上延迟不是由复杂度公式直接决定的。一个算子快不快,先看它把数据搬了多少次,再看搬来的数据算了几次。前者是访存,后者是计算,两者之比叫算术强度。GPU 喜欢算术强度高的活:一次搬进来一大块数据,反复算很多次。稀疏注意力经常反过来,计算量少了,但为了找到该算的那几块,要读索引、做判断、跳着取数据,算术强度反而下降。
所以第一个问题不是能省多少计算,而是当前请求卡在计算、显存带宽,还是调度开销。如果卡在显存带宽,减少计算量不一定有用,除非你同时减少了要读的字节,并且读得仍然连续。如果卡在算子启动和批次形状,稀疏只会让调度更碎。
稠密注意力是被硬件调教过的
稠密注意力不是笨办法。它被 GPU 调教了很多年,有成熟的矩阵乘库、分块策略和融合算子。FlashAttention 这类实现把 QK 计算、softmax 归一化、乘 V 尽量放在一个融合算子里,减少显存往返,计算过程仍然是大块矩阵乘。大块矩阵乘对张量核心友好,对缓存友好,对编译器和算子库也友好。
稀疏实现面对的第一道墙是访存模式。按任意索引取 K 和 V,等于把连续大块读变成随机小块读。块大小选 16、32、64,看起来只是参数,实际决定了每次访存能不能对齐缓存行,能不能凑够一个像样的矩阵乘。块太小,索引和边界判断比计算还多;块太大,稀疏度不够,省下来的计算又被填充吃回去。
元素级稀疏更尴尬。图上看着很稀疏,硬件上很零碎。2:4 这类结构化稀疏在矩阵乘上有硬件支持,但注意力里常见的稀疏模式不是这种固定形状。局部窗口加全局 token,或者每个头动态选前 k 个,形状随输入变,硬件很难提前排好流水线。规则块稀疏至少还能映射成小块矩阵乘,动态选前 k 个往往要先排序再跳读,排序本身就是一笔不小的开销。
这也是为什么有些方案在算子层面看着很快,接进模型却慢。中间多了布局转换、掩码物化、索引生成,每一步都要读写显存。单个算子省下的时间,被前后的搬运吃掉了。
预填充和逐 token 生成是两笔账
讨论稀疏注意力,必须把预填充(prefill)和逐 token 生成(decode)分开。预填充是一次处理整段输入,矩阵乘规模大,通常更接近计算受限。逐 token 生成是每步读历史键值缓存(KV cache),长上下文、较小批大小时往往更接近显存带宽受限。两者瓶颈不同,稀疏带来的收益也不同。
预填充阶段,如果稀疏模式是固定的块状结构,能直接映射成一批大块矩阵乘,减少的计算有机会变成更短的首 token 延迟(TTFT)。前提是块足够大、融合足够好、序列足够长。几千 token 以内,稠密实现本来就能把 GPU 喂饱,稀疏的索引和分支反而让计算单元空转。
逐 token 生成阶段更微妙。每生成一个 token,都要把历史 KV 读一遍。稀疏注意力如果能稳定地只读少数块,确实可能减少 KV 读取量。但选择哪些块需要索引,读块又是跳读。序列不够长时,省下的读取量抵不过索引开销;批大小较大时,不同请求选中的块不一样,负载还不均衡。结果可能是计算量降了,每 token 输出时间(TPOT)没降,甚至因为算子更碎而变差。
这里还有一个容易被忽略的变量:分组查询注意力(GQA)、多查询注意力(MQA)、KV 量化、分页管理这些手段,已经在减少 KV 的读取字节。稀疏注意力如果只是减少计算,没有减少字节,或者减少的字节被低效访存抵消,它在逐 token 生成阶段就很难赢。顺序上,我会先把 KV 的账算清楚,再决定要不要动注意力模式。
真正吃掉收益的是这些开销
把稠密和稀疏放在一起看,差别不只在计算量。
| 维度 | 稠密实现 | 稀疏实现 |
|---|---|---|
| 访存 | 连续大块 | 按索引跳读 |
| 计算 | 大矩阵乘 | 小块矩阵乘或跳读取数 |
| 额外数据 | 少 | 索引、掩码、长度 |
| 负载 | 比较均匀 | 块热度不均 |
这些额外数据不是免费的。掩码物化会多一份和序列长度相关的内存;动态选块要排序或近似排序;变长请求要填充到块边界;不同头选不同块,还会让算子难以合并。单看一个注意力算子,稀疏版可能更快;接上前后处理,端到端可能持平甚至更慢。
还有一个常见误判:把理论稀疏度当成有效稀疏度。论文里说只保留百分之几的连接,落到硬件上要按块取,块内没用的位置仍然要算,边界还要填充。有效计算量往往比公式高不少。块越大,这个差距越明显;块越小,访存效率越差。中间那个甜点区,跟头维度、数据类型、序列长度、批大小都有关,不能靠一张图定死。
所以稀疏注意力不是实现一个更聪明的掩码就结束了。它要求算子、内存布局、批次调度一起改。团队如果只改模型结构,指望现有框架自动变快,大概率会得到一份更复杂的模型和一条没变短的延迟曲线。
我会按这个顺序判断
我会按这个顺序判断,不会先看论文里的复杂度。
flowchart TD
A[长上下文变慢] --> B{瓶颈在哪}
B -->|算力| C[规则块稀疏]
B -->|访存| D[先减 KV 字节]
B -->|调度| E[查批次与算子启动]
C --> F{块对齐且融合}
D --> F
E --> F
F -->|否| G[回退稠密]
F -->|是| H[端到端压测]如果瓶颈是预填充的矩阵乘,先看块稀疏能不能映射成大块矩阵乘,能不能和现有算子融合。如果瓶颈是逐 token 生成阶段的 KV 读取,先看 GQA、量化、KV 淘汰、分页管理,再看稀疏注意力能不能真正减少读取字节。如果瓶颈是算子启动和批次形状,稀疏通常不是答案,它只会增加调度次数。
这个顺序很重要。优化错瓶颈,越努力越慢。一个团队把注意力改成稀疏,发现 GPU 利用率下降了,误以为还有余量,继续加批大小,最后延迟和显存一起上去。利用率下降不一定代表省了算力,也可能代表计算单元在等数据。
用真实流量压测,再决定做不做
上线前别拿单条长请求的微基准测试做决策。单条、批大小为 1、固定长度、只测预填充,这些条件很容易把稀疏的优势放大,把开销藏起来。真实流量里,请求长度是分布的,输出长度不确定,批大小在变,预填充和逐 token 生成交织在一起。
压测至少要把长度分位、批大小、输入输出长度、并发数拆开。看四个指标:首 token 延迟、每 token 输出时间、单位 GPU 的吞吐、p99 延迟(尾部延迟)。平均延迟会骗人,长请求用户感知到的是尾部。还要看成本,稀疏版如果省了计算但多占一份索引内存,单卡能放的并发可能反而下降。准确率也不能只看困惑度,检索、多跳、引用位置这些长上下文任务要单独测,稀疏模式可能保住局部通顺,却丢掉远处的关键信息。
如果稀疏版首 token 延迟降了但每 token 输出时间没降,说明优化的是预填充,不是逐 token 生成。如果 GPU 利用率降了但延迟没降,说明省下的算力没有变成时间。如果只有在最长的那一小撮请求上才有收益,而路由和回退逻辑又很复杂,我会先保持稠密,把长请求单独排队或限流,等长序列占比和成本压力足够大再动稀疏。
判断标准可以很朴素:稀疏实现必须在你们自己的长度分布、批大小和延迟目标下,端到端打赢稠密,并且准确率不掉,维护成本可接受。否则它只是一个更复杂的理论优势。下一次评审,先让对方把单条样本的曲线换成真实流量的压测结果,再谈省了多少。
评论