跳至主要内容
结构化输出很稳,但每一步都在付延迟

结构化输出很稳,但每一步都在付延迟

把 JSON 输出打开之后,接口的 p95 从几百毫秒涨到一两秒,格式错误确实没了,投诉换成了超时。这个交换在很多团队里都发生过:结构化输出看起来只是给模型加了个格式约束,实际是把不确定性从解析层挪到了延迟层。约束解码不是免费的,它每一步都在做掩码,偶尔还要回退。

约束解码在每一步多做了什么

普通生成只做一件事:模型给出词表上的 logits(每个候选 token 的原始打分),采样一个 token。约束解码在采样前多了一步:维护一个语法状态,算出当前允许的 token 集合,把不允许的 logits 掩掉,再采样。JSON schema 会被编译成有限状态机或上下文无关文法,每生成一个 token,状态往前走一格。

这套机制的成本不在一次计算多大,而在它发生在每个 token 上。词表量级在几万到十几万,掩码要对整个词表做一次筛选;如果语法是上下文无关文法(CFG)而不是简单正则,状态迁移和允许集计算会更重。请求进来先编译 schema 也要钱,复杂 schema 编译一次几十毫秒并不奇怪,所以生产上通常按 schema 哈希缓存编译结果,而不是每个请求现编。

更隐蔽的是批处理。在线服务一条 batch 里通常混着不同请求,每条请求的语法状态不同,掩码矩阵要按 batch 展开。掩码在 CPU 上算、logits 在 GPU 上算,中间一次同步就可能让 GPU 空转。QPS 高的时候,吞吐下降未必是模型算不动,而是调度在等掩码。

一次约束解码的循环大致是这样,死路会触发回退。

flowchart TD
  A[模型输出 logits] --> B[语法状态求允许集]
  B --> C{有可用 token}
  C -- 是 --> D[掩码采样并推进状态]
  D --> E{到达终止态}
  E -- 否 --> A
  E -- 是 --> F[返回结构化结果]
  C -- 否 --> G[回退并禁用该 token]
  G --> A

回退才是尾部延迟的来源

如果语法只做局部校验,模型可能选到一个当前合法、但后面走不到终止态的 token。这时要么回退到上一个分支点,禁用这个 token 重采样,要么整次请求失败重试。前者要截断 KV cache(推理缓存),重新 prefill 回退点之后的前缀;后者更贵,前面生成的 token 全作废。

回退深度是延迟的乘数。回退一层,多算一段前缀;回退三层,尾部延迟可能翻几倍。最坏情况下用深度优先搜索找一条可行路径,复杂度会爆炸,所以生产系统不会做无界回退,通常只留一层或几层,再不行就失败。

另一类回退来自 tokenizer 和语法边界不重合。字符级语法看到一个 token 可能横跨几个语法节点,如果掩码只按字符逐个判断,就会错误地允许或禁止某个 token;等解析器发现不对,只能回退。token 级语法要把词表映射到状态迁移上,这部分做不细,格式越复杂越容易出问题。

好的编译器会预计算可达性,掩码时只放那些还能走到终止态的 token,这能消掉大部分回退。代价是编译更重、状态更多,而且每次 schema 变化都要重算。如果引擎只做局部校验,回退率就会高,最后还是要用延迟补回来。

所以我会把回退看成兜底,不是主路径。上线时先统计回退率,如果它不是一个很小的数,先改 schema 或语法,不要靠加回退层数硬扛。

先看 p95,不要只看 p50

结构化输出的延迟由四段组成:prefill、每 token 解码、约束开销、失败重试。约束解码主要加在第二段和第三段,回退和重试加在第四段。p50 可能只涨一点,因为大多数请求走的路径短;p95(95 分位延迟)会被回退和重试拉长。一个接口平均延迟没怎么变,但用户偶尔等两三秒,问题通常在这里。

还要看吞吐。如果下游是同步接口,p95 是用户体验;如果是批处理,看 tokens/s 和 GPU 利用率。同一个方案在离线批处理里可以接受,放到在线对话里可能就不能用。不要用一条平均延迟曲线给两种场景做决定。

四种方案,别把结构化输出当开关

方案 格式确定性 主要延迟来源 适合的边界
后置校验加重试 低到中,靠重试 正常请求不变,失败请求翻倍 格式错误率低,schema 简单
JSON mode 只保证 JSON 语法 状态少,通常比完整 schema 便宜 下游能容忍字段缺失,内部日志
约束解码 高,语法级确定 每 token 掩码,回退拉长尾部 机器对机器,短输出,格式失败成本高
两段式 中到高,取决于第二段 多一次调用 长文本,内容质量优先

JSON mode 如果底层也是语法约束,它不是零成本,只是约束弱、状态少。后置校验加重试的正常路径几乎不加延迟,失败路径翻倍,适合格式错误率低、schema 简单的场景。约束解码把格式确定性提到语法级,代价是每步掩码和回退。两段式先自由生成内容,再用模板或第二个小模型抽成结构,多一次调用,但对长文本更友好。

函数调用或工具调用如果底层也是约束解码,账一样,不要因为换了个名字就认为免费。

Schema 写法直接决定延迟上限

约束解码的延迟不只由引擎决定,schema 本身也在决定状态空间。

能扁平就扁平。每多一层嵌套,语法状态多一层;oneOf 和 anyOf 会引入分支,回退概率上升。一个字段能用一个对象表达,就不要套三层。

枚举要有边界。分类字段用枚举比自由文本稳,但把几千个值塞进一个字段,允许集和 token 前缀树都会变大,模型也更容易在相似枚举里选错。

给数组和字符串设上限。maxItems、maxLength 不是形式主义,它让语法有终止条件,避免模型一直往外写。数字字段写清范围,也能减少走到死路再回退的概率。

字段顺序能固定就固定。对象键顺序对 JSON 语义不重要,但对语法分支重要;固定顺序能少一层排列组合,前提是下游不依赖顺序。

必填字段别太多。缺省值能表达的就不要逼模型生成,required 越多,死路越多。

什么时候不该用约束解码

如果输出主体是长自然语言,只是外面包一层 JSON,我通常不建议整段约束。JSON 里的长文本还要处理引号和换行转义,token 数会变多,语法状态也更复杂。先自由生成正文,再用模板或第二个小步骤包壳,往往更稳。

如果格式错误成本低,重试便宜,后置校验更划算。约束解码适合的是格式失败代价高、下游没有容错、输出长度可控的机器对机器场景,不是所有 JSON 都值得上。

如果延迟预算是硬约束,schema 又复杂,可以考虑异步任务、离线批处理,或者把结构化拆到后置步骤。把同步接口硬扛成低延迟,最后往往靠超时和重试把系统拖垮。

约束解码保证的是形状,不是判断。一个字段被枚举限制住,模型可能选一个语法合法但语义错误的值;格式合法率 100% 不代表字段正确率 100%。

上线前先量三个数

上线前至少量三个数:格式合法率、字段语义正确率、p95 延迟和回退率。格式合法率和语义正确率要分开统计,否则约束解码会把第一个数做得很好看,第二个数却没动。

压测时不要只拿最简单的 schema 测。拿最复杂的那条业务 schema,固定输出长度,记录每步掩码的开销、回退次数和重试率。如果 p95 超预算,先砍 schema 分支,再考虑回退策略。

我的默认做法是回退深度只留一层,超过就失败重试;schema 嵌套先控制在业务必需的范围,数组和字符串都设上限。这不是理论最优,是把尾部延迟锁住。

先别问要不要开结构化输出,先问这个 schema 的最长输出路径有多长、死路有多少、p95 预算还剩多少。三个数答不上来,开了也只是把错误换了个地方发生。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#推理延迟 #约束解码 #结构化输出

评论