跳至主要内容
表格清洗:能写成断言的别交给模型

表格清洗:能写成断言的别交给模型

有人拿一份三万行的客户回款表来问,能不能直接丢给模型清洗一遍。表里的问题看起来很杂:客户名有简称有全称,电话带不带横杠的都有,省份一列写着“北京市”也写着“北京”,备注里还混着“已开票”“走对公”这类状态。

这份表需要的并不只是“一个 AI 清洗工具”,而是要先把这几类问题拆开。它们的判据完全不同,混在一起交给任何一个工具都会出问题。

判据只有一条:这个错误能不能写成断言

我的判断标准很窄:如果一条清洗规则能写成“给定输入,输出唯一且可验证”的断言,就不该用模型。

“手机号必须是 11 位数字”是断言,脚本一行正则,跑一万次结果一样。“客户名要把‘有限公司’后缀去掉”也是断言,前提是后缀表是穷举的、可维护的。

写不成断言的是另一类:“北京某某科技有限公司”和“某某科技”,是不是同一个客户?这取决于业务上怎么算,取决于合同签的是哪个主体,取决于销售有没有把集团和子公司混着录。这条判断需要外部世界知识,也需要业务口径,脚本写不出来,模型可以给一个有概率的答案。

判据清晰以后,剩下都是工程问题。麻烦在于,很多人把第二类问题误当成第一类去堆规则,或者把第一类问题误当成第二类去反复调 prompt。

两种技术的成本结构并非同一回事

脚本的成本是前置的:写规则要花时间,写测试要花更多时间,之后每次运行几乎免费,行为完全可复现,出问题能定位到某一条规则 ID。

模型的成本是后置的:上手几乎零成本,写一段 prompt 就能跑,但每处理一行都要付一次钱,而且结果会随模型版本、温度、上下文顺序漂移。

量级上差别很大。一行表格数据加上指令,输入输出合起来大致在几百 token;三万行就是百万到千万 token 的量级,按公开的 API 单价折算,一次全量跑的花费在几十元上下,换个更强的模型会翻几倍。这个数字不算吓人,真正的问题是这个钱要反复花:月度对账表每月跑一次,一年就是十二次;改了 prompt 要重跑,换了模型要重跑,业务说“上次那版结果对不上”还要重跑。

延迟更直接。批处理场景能忍,但如果清洗嵌在一个表格工具里,用户改完一列想立刻看到结果,逐行调模型的响应时间根本撑不住,加并发就意味着限流、重试,以及注定会出现的一部分行失败。

还有一层常被忽略:可解释性。财务和合规问的从来不是“结果对不对”,而是“这一行为什么被改成这样”。脚本能回答“命中了 rule_017,去掉了括号内的地名”;模型的回答只能是“模型认为”。后者在内部探索时够用,在对外报表里不够。

规则堆叠和模型全量,各有各的失效方式

先说规则这条路的典型失效方式。客户名归一,一开始写三条规则就能覆盖八成:去掉“有限公司”“有限责任公司”“股份公司”,去掉括号里的地名,全角转半角。然后长尾来了:“某某(中国)有限公司”和“某某中国”被两条规则各切一刀,切出两个不同结果;繁体名没处理;“某某集团”和“某某集团有限公司”到底是同一个还是两个,规则没法判断。

于是加第四条、第十条、第四十条。到某个点之后,规则之间开始互相冲突:改一条修好了 A 客户,弄坏了 B 客户,而你没有足够的测试用例发现这件事。规则系统的真实成本不在第一次写,在于每次改动都要跑一遍全量回归,而回归集本身要人维护。

模型这条路的失效方式不一样。第一版跑出来效果往往好得超出预期,因为模型确实认识“某某科技”和“北京某某科技有限公司”是同一家。问题出现在第二次运行:结果和第一次不完全一样,没人说得清哪些行变了、为什么变。业务方拿着一行来问“上个月这里是 A,这个月是 B,哪个对”,如果输出里没有原文片段和判断依据,这个问题没法回答。

更隐蔽的一种失效方式是把模型当规则用:为了让输出稳定,在 prompt 里堆二十条 if-else 式的约束,最后得到一个既不稳定又不可解释的中间产物。它比脚本贵,比模型笨。

默认架构:脚本做第一层校验,模型做判断,人做最终确认

我现在更倾向一个分层结构,边界按确定性程度划分,而不是按字段划分。

flowchart TD
    A[原始表格] --> B[硬校验层]
    B -->|字段缺失 类型错误| R[拒绝并打标]
    B --> C[字典归一层]
    C -->|命中词典| D[输出标准值]
    C -->|未命中| E[标记为待判定]
    E --> F[模型判定层]
    F --> G[带证据的候选结果]
    G --> H[抽样人工复核]
    D --> H
    H --> I[写入结果表]

第一层是硬校验:类型、枚举、范围、唯一性、外键存在性。这一层不做任何猜测,只判断合不合法,不合法的直接打标退回,不进入后面的流程。

第二层是字典归一:省市区、行业分类、客户别名、单位换算。字典驱动的规则能处理掉大部分脏数据,而且每加一个别名就是一次确定性的改进,可以写测试,可以 code review。

第三层才交给模型,而且只处理第二层标成“待判定”的残留。这个比例很关键:如果前两层能处理掉 85%,模型面对的就不是三万行,而是四千多行,成本和不确定性同时降一个量级。如果前两层只能处理掉 30%,那说明问题不在清洗,在源头的录入流程,该去改表单而不是换模型。

第四层是人工复核,按比例抽样,重点看模型判定的那部分和新出现的脏类型。

这个结构的价值在于“每一层的失败模式是分开的”,而非仅仅在于“用了 AI”。校验层误判,看规则;模型层误判,看证据;两边都没错但业务不认,那是口径问题,得回到定义本身。

模型那层必须立的四条规矩

如果决定用模型,我会先把输出形状定死,而不是先调措辞。让模型返回自由文本,等于把解析工作推给下游。

JSON10 行
1
2
3
4
5
6
7
8
9
10
{
"row_id": 10231,
"field": "customer_name",
"decision": "merge",
"canonical": "示例科技有限公司",
"matched_to": "C-00871",
"evidence": "示例科技(北京)有限公司",
"confidence": 0.82,
"reason_code": "alias_or_subsidiary"
}

第一,输出必须是 schema 约束下的枚举加字段。decision 只能取预设的几个值,reason_code 只能是预设的原因码。自由文本在清洗场景里没有价值,因为下游要拿它做聚合和统计。

第二,每条结论必须带 evidence,也就是原始单元格里的片段。没有证据的判定无法复核,也无法在业务质疑时自证。

第三,结果要幂等。用“原文 + prompt 版本 + 模型版本”做缓存键,同样的输入不重复付费,也让重跑的结果可复现。这一条能把“上个月和这个月不一样”的排查范围压到最小,因为差异只可能来自输入变化或版本变化。

第四,模型版本要固定住。升级模型必须跑一遍回归集,回归集就是历史上人工确认过的判定,包括那些被判错的。没有回归集就升模型,等于在生产上做实验。

这四条不难,难的是有人总觉得“先跑起来再说”。清洗这件事的特点是一次错误会顺着下游报表放大,跑起来之后再补这四条,成本比一开始就写高得多。

反过来的顺序:先用模型发现脏数据类型,再用规则稳定

上面说的是终点,起点可以反过来。

如果你对一份表脏在哪完全没有概念,先写规则是低效的,因为你在猜。更合理的做法是抽几百行,让模型跑一遍,人工看它的输出,得到一张“脏类型清单”:哪些是格式问题,哪些是实体归一,哪些是从备注里抽字段,哪些其实是业务口径不一致。

这张清单是模型最被低估的用途:它主要为了帮你发现有哪些规则要写,而不是直接上生产。清单出来之后,逐条固化成脚本和字典,每固化一条就从模型那边拿回来一批行。模型逐渐退到长尾,退到那些一年出现几十次、写规则不划算的边角。

终点通常既不是“全模型”,也不是“全脚本”,而是规则吃大头、模型覆盖边角。这个比例会随业务稳定下来,稳定之后规则那部分几乎不再变动,模型那部分的调用量小到可以忽略成本。

什么情况下可以整表丢给模型

也有合理的时候,边界大概是这几条同时成立:一次性任务,几千行以内,结果只给自己或小团队看,没有下游系统依赖,数据结构事先不清楚。

比如拿到一份别人给的市场名单,想快速看看里面有多少重复、地区分布大概什么样,这种探索性分析用模型完全合理,写脚本反而浪费时间。

反过来,只要出现下面任何一条,就该把确定性部分抽出来:这份表会周期性重跑;涉及金额、结算、对外披露;结果要进数据库或被其他系统消费;有人会问“这一行为什么被改”。

还有一种情况容易被误判:表里主要是长文本,比如工单描述、用户反馈、合同备注。那本质上是文本抽取任务,不是表格清洗,用模型是对的,但也别指望它输出的东西能直接对账,中间还是要有人工确认或规则校验。

如果刚入行,有人拿一份表来问能不能用 AI 清洗,我会先问三句:这份表多久跑一次,错了谁承担,这个错误能不能写成一条断言。三个答案基本就决定了哪部分该写脚本,哪部分才轮到模型。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#LLM 应用 #工程取舍 #数据清洗

评论