同事做了个「AI 自动生成周报」的原型,演示那天很顺:输入三条进展,模型吐出一段挺像样的总结。接进系统那天出了问题——前端自己解析那三个小节,十条里有六条拆不出来。模型有时候把「下周计划」写成「Plan」,有时候前面多插一段「总结」,有时候用「一、」开头。
我们花了一晚上讨论怎么把正则写宽容一点。第二天我把方向反过来了:不该让程序去迁就模型的措辞,该让 prompt 把输出的形状固定下来。
后来我在那段代码上留了句注释:模板不是为了让输出好看,是为了让输出能被接住。人接、表格接、程序接,这是三件不同的事。
输出飘,通常飘在这三处
- 指令有歧义:这次列 3 点,下次列 7 点;这次给建议,下次给结论。
- 输出没有形状:同一件事,一次用表格,一次用散文。
- 验收标准只在人脑子里:你觉得「不够深入」,但说不出哪里不够。
前两条靠改结构解决,第三条得把它写回 prompt 里。我写过一句「请给出深入的分析」,模型回我三段正确的废话:市场在变化、用户需求多样、建议持续优化。后来改成「每条发现必须带一个具体数字,或者一个反例」,同一份数据,输出立刻不一样——它终于知道「深入」在我这里是什么意思。
五个零件里只有两个重要
流传的骨架是五段:角色、任务、输入、输出、验收。我用下来权重差得很远。
- 角色最被高估,主要影响语气,改不了结构。
- 任务最容易写虚,「分析这份数据」等于没说,换成「找出值得追加投入的客户群,并说明为什么是这一类」,输出才有指向性。
- 输入最值得花时间:字段含义、时间范围、单位、缺失值代表什么,都要写。模型不会追问,只会猜,猜错了还很自信。
- 输出决定下游能不能用:形状、长度、层级。
- 验收告诉它交卷前该删什么。写「不满足条件的不要硬凑」,往往比写十条正面要求管用。
最小的一版大概长这样:
1 | 角色:你在做电商客户数据分析,读者是不懂技术的运营同学。 |
输入那段占了三分之一,这是我觉得最不冤枉的投入。数据字典含糊,格式写得再漂亮也是垃圾进垃圾出。
选格式看谁来接
Markdown 模型最熟,几乎不会写坏,适合报告和文档,缺点是结构靠标题层级约定,标题措辞一变下游解析就挂。表格适合给人扫,一眼对比,但只适合二维、每行字段相同的数据,列数一多模型就开始漏列,五列以内比较稳。JSON 是唯一能被程序稳定消费的,代价是费 token、模型爱加解释、schema 一复杂就漏字段。
JSON 那一路我踩过几个坑,现在固定这么写:
- schema 直接贴进 prompt,用代码块包起来,别用文字描述字段。
- 枚举和空值写死:「status 只能是 active / churn / unknown,拿不到就填 null,不要编」。
- 明确禁止前后缀:「只输出 JSON 对象,不要解释,不要代码块」。
- 字段数控制在 8 个以内,嵌套不超过两层,超了就拆成两次调用。
- 长文本放数组,不要拼成一个几百字的大字符串,拼起来就没法逐条校验。
1 | 输出必须是下面这个结构的 JSON,不要加任何说明文字: |
我拿一份十个客户的样例试过四版:不给模板时拿到三百字泛泛而谈,有结论没依据;加角色和三个具体问题之后段数会随模型心情变;再加上编号输出格式和表格要求,四段稳定了,但表格列名偶尔还是会改;最后换成带 schema 的 JSON,前端能直接渲染。从第三版到第四版,改的不是措辞,是那二十几行 schema。token 成本上去了,省掉的是人工校对。
真正兜底的是外面那层循环
schema 写得再细,也一定会遇到模型多写一句「好的,以下是分析结果」。所以解析这一层不能省,而且重试要带上错误信息,不是原样再问一遍。
1 | import json |
重试最多两次,再多也是浪费;错误信息要带位置,模型靠这个能自己修;两次都失败就走降级路径,别让用户对着转圈等。
模板还会腐烂。同一份模板用三个月就开始出问题:模型升级了、业务字段改了,或者当初为治某个毛病加的补丁句,现在反而成了约束。我现在给模板记三样东西——版本号跟代码一起进仓库,一组覆盖正常输入、边界输入、该拒答输入和格式易坏输入的硬样本,以及解析成功率和人工改写率这两个数。前者掉说明格式出问题,后者涨说明内容质量出问题。
排错时先看参数再看措辞:输出太长先查 max_tokens 和有没有写长度上限;JSON 解析失败先查 JSON mode 和 stop 序列;质量忽高忽低先查 temperature 和示例有没有变过。很多「prompt 不好用」其实是参数没定,改十遍措辞也没用。
那个周报最后没写宽容的正则。我们把输出改成三段固定 JSON,外面套上这层解析重试,跑的这几个月偶尔还是会失败,失败的落进人工队列,但至少不再半夜告警。
如果你手里正有一份模板,今晚可以先做一件事:同样的输入跑五遍,把五份输出并排放在一起,看第一个不一样的地方出现在哪一行。那一行通常就是你没写清楚的地方。
评论