跳至主要内容
Embedding 不是把词变成数字,是给语义画一张地图

Embedding 不是把词变成数字,是给语义画一张地图

上个月给博客加了个「相关文章」,第一版写得非常朴素:把每篇正文丢进模型,取一个向量,算余弦,取前五。上线后我自己点了两下就发现不对——一篇讲 Agent 闭环的文章,相关推荐里躺着《项链》的书评,理由大概是两边都出现过「系统」这个词。

我第一反应是模型不行,换了个参数更大的,结果只是错得更贵。真正的问题有三处:整篇文章被平均成了一个向量,长文里的主题被稀释;入库时忘了归一化,余弦和内积混着用;以及我拿「句子相似度」的直觉,去要求「文章相似度」。

修完这三处,前五条终于能看了。这件事让我意识到,大部分关于 Embedding 的困惑不在公式,而在于没想清楚它到底在做什么。它更像一张地图:把离散的东西放到连续空间里,让「远近」可以计算。地图有用,但地图也会失真,而且不同模型画的是不同的投影,坐标不能混着用。

一张地图的三条约定

第一,输入是离散的,输出是连续的。 词、图片、视频帧,原本都是符号或像素,没法直接算距离。向量化之后,每个对象变成一串浮点数,加减乘除才有意义。

第二,距离要近似语义相似度。 这是全部价值所在。两个对象在空间里挨得近,不是因为它们字面像,而是因为模型在训练中反复看到它们出现在相似的上下文里。注意这里有个限定:只在训练分布覆盖到的语义上成立。模型没见过的领域、内部代号、新造的词,坐标可能是随机的。

第三,维度是分布式表示,不是可命名的特征。 1536 维不意味着第 7 维代表「情绪」、第 42 维代表「动物」。每个维度都在参与编码,单个维度基本不可解释。这也是它和 TF-IDF 那种稀疏向量最大的区别:前者是压缩后的稠密表示,后者是词表上的计数。

顺便说一个常被忽略的点:维度不是越高越好。高维空间里距离会向中间集中,最近邻和最远邻的差距被压扁,区分度反而下降。所以工程上更常见的是几百到一千多维,加上归一化和合适的度量,而不是盲目追大。

度量本身也值得单独说一句。余弦看夹角,欧氏看绝对位置,内积把夹角和模长混在一起。向量做过 L2 归一化之后,在单位球上这三者的排序是一致的,这也是大多数向量库默认用内积的原因。反过来,如果只归一化了文档侧、忘了查询侧,或者中途换过预处理,相似度会整体偏移,但接口不会报任何错。我的习惯是把「归一化 + 内积」写进索引的元数据,和模型版本放在一起。

文本:词、句、文档是三种不同的压缩

词:先解决「任意两个词都一样远」

最早的做法是 one-hot:词表有多大,向量就有多长,当前词的位置是 1,其余全是 0。它能用,但有两个硬伤——词表五万就是五万维的稀疏向量;而且任意两个不同的词内积都是 0,猫和狗的距离,跟猫和微积分的距离一模一样。向量里没有任何「相似」的概念。

Word2Vec 换了个思路:先不给词下定义,只让它预测邻居。skip-gram 用中心词预测上下文,CBOW 反过来。训练完成后,那些经常出现在相似上下文里的词,坐标自然被拉到一起。GloVe 走的是另一条路,从全局共现矩阵出发做加权分解;FastText 则把词拆成字符 n-gram,子词向量相加,顺带缓解了未登录词和拼写变体的问题。

它最有名的副产品是类比运算:king - man + woman 会落在 queen 附近。这不是模型真的理解了性别,而是共现结构在空间里留下的线性痕迹。也正因为如此,它同样会忠实地学下语料里的偏见,这一点后来被反复讨论。

这套方法的局限也很清楚:一个词只有一个向量。「苹果」是水果还是公司,「bank」是河岸还是银行,模型只能给出一个折中的位置。ELMo 和 BERT 之后,词向量变成上下文相关的——同一个词在不同句子里得到不同的表示,这才算把多义性处理掉。

句:平均池化的天花板

把句子变成向量,最省事的办法是把词向量取平均。它便宜、稳定,也是很多早期系统的默认做法。但平均本质上是词袋,语序和否定会被抹掉:

  • 「狗咬人」和「人咬狗」,平均之后是同一个向量。
  • 「我喜欢这个方案」和「我不喜欢这个方案」,只差一个「不」,余弦依然很高。

CNN 和 RNN 曾经是主流解法,前者抓局部 n-gram,后者按顺序读。Transformer 之后,自注意力可以同时看整句,位置编码补回了顺序信息。但这里有个流传很广的误解:BERT 的 [CLS] 向量并不天然适合算句子相似度。未经对比学习微调的 BERT,句向量分布是各向异性的,所有句子挤在一个狭窄的锥形区域里,随便两句的余弦都有 0.8。Sentence-BERT 用孪生网络和对比学习把句子重新压进一个可比的空间,才让「直接算余弦」这件事成立。

现在的检索模型基本都走这条路:BGE、E5、GTE 这一类,用大规模弱监督对 + 难负例训练。用的时候有两个细节不能省:查询和文档要加各自的前缀(比如 query: / passage: ),指令要和训练时一致。少写一个前缀不会报错,只会让召回悄悄掉几个点。

PYTHON15 行
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from sentence_transformers import SentenceTransformer
import numpy as np

model = SentenceTransformer("BAAI/bge-small-zh-v1.5")
sentences = [
"猫在追老鼠",
"小猫在捕猎啮齿动物",
"我喜欢火腿三明治",
]
# 归一化之后,内积等价于余弦
vecs = model.encode(sentences, normalize_embeddings=True)
sim = vecs @ vecs.T

for i in range(len(sentences)):
print([round(float(x), 3) for x in sim[i]])

我第一次跑这个例子时,前两句的相似度在 0.7 上下,第三句只有 0.1 出头。数字会随模型版本浮动,但量级很稳定。很多人用这个例子证明「模型懂语义」,我倒是觉得它同时暴露了弱点:如果把前两句改成「猫不追老鼠」和「小猫不捕猎啮齿动物」,相似度依然很高——它抓到的是主题,不是事实。

文档:长文不是「更长的句子」

文档向量最容易踩的坑,就是直接对全文取平均。一篇三千字的文章,可能讲了五个子话题,平均之后得到一个「什么都不是」的中心点。实际系统里更可靠的做法是分层的:

  1. 先按语义边界切块(标题、段落、代码块),每块单独编码;
  2. 检索时命中块,再向上聚合到文章;
  3. 文章级别的向量,用标题加摘要,或者对块向量做加权平均,而不是对全文做平均。

统计方法里,TF-IDF 依然能打:它把文档表示成词表上的权重向量,稀疏、可解释、字面匹配强,遇到错误码、人名、内部代号这类稀有 token,比稠密向量可靠。弱点也一样明显:词序信息全丢,「狗咬人」和「人咬狗」的权重完全一样。N-gram 补的就是这一块——把连续两个词、三个词当成一个特征,顺序回来了,代价是特征空间组合爆炸,通常要配最小频次裁剪或者哈希。

主题模型是另一条路。LDA 假设每篇文档由若干主题混合而成,每个主题又是词上的分布,训练完拿文档-主题分布当向量。它可解释,能直接看出「这篇在讲什么」,但主题数得人工定,短文本上不稳定,用来算细粒度相似度通常不如神经方法。

Doc2Vec 是 Word2Vec 的文档版,给每篇文档额外学一个段落向量,训练时和词向量一起更新(PV-DM 把段落向量当上下文,PV-DBOW 让它直接预测文中的词)。思路直观,长文本上也不差,现在更多是作为基线,或者在没有 GPU 的场景里兜底。

我在博客上最后用的是混合方案:稠密向量负责语义,BM25 负责字面,两路结果做融合(融合的细节在另一篇里写过)。相关推荐里那些专有名词,就是靠 BM25 捞回来的。

图像:从「像不像」到「是不是一回事」

图像向量化要回答的问题比文本更含糊:什么叫两张图相似?颜色接近?构图接近?还是内容属于同一类?不同的目标,对应完全不同的方法。

手工特征时代,代表是 SIFT、SURF、HOG。它们从图里找关键点(角点、斑点、边缘方向),每个关键点配一个局部描述子,再用词袋、VLAD 或 Fisher 向量把数量不定的描述子聚合成一个定长向量——不聚合就进不了索引。这类特征对旋转、缩放、光照很稳,适合「找同一栋楼的不同角度」;但它不理解语义,一张猫和一张狗的照片,在它眼里都是「一堆边缘和角点」。所以它配的通常是欧氏距离这类几何度量,而不是语义相似度。

CNN 时代,做法是拿一个分类网络当特征提取器:去掉最后的全连接层,取倒数第二层的输出,做全局平均池化,得到 2048 维左右的向量。ResNet、VGG 都行。这样得到的向量带有语义,猫的图片会聚在一起,哪怕毛色和姿态完全不同。代价是它继承分类数据集的口味:ImageNet 里没有的类别,表示质量会明显下降。

PYTHON20 行
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import torch
import torch.nn.functional as F
import torchvision.models as models
from torchvision import transforms

net = models.resnet50(weights="IMAGENET1K_V2")
net.fc = torch.nn.Identity() # 只留特征
net.eval()

tf = transforms.Compose([
transforms.Resize(256),
transforms.CenterCrop(224),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406],
[0.229, 0.224, 0.225]),
])

with torch.no_grad():
v = net(tf(img).unsqueeze(0))
v = F.normalize(v, dim=-1) # 入库前统一归一化

自编码器是另一条线。它不预测标签,只要求重建输入,中间那个窄瓶颈就是表示。优点是无需标注、天然降维,适合压缩、去噪、异常检测;缺点是它优化的是「能不能还原像素」,不是「语义是否相近」,拿来做检索经常不如分类网络的特征。

真正把图像和文本连起来的是 CLIP。它用对比学习同时训练图像编码器和文本编码器,把配对的图文拉到同一位置,不配对的推开。训练完之后,一张图和一句描述共享同一个坐标系,于是「以文搜图」变成了同一空间里的最近邻问题,零样本分类也变成「把类别名写成句子,看哪个最像」。

PYTHON10 行
1
2
3
4
5
6
7
8
9
10
import clip, torch
import torch.nn.functional as F

model, preprocess = clip.load("ViT-B/32")
model.eval()

with torch.no_grad():
img_f = F.normalize(model.encode_image(preprocess(img).unsqueeze(0)))
txt_f = F.normalize(model.encode_text(clip.tokenize(["a cat on a sofa"])))
score = (img_f @ txt_f.T).item()

CLIP 的短板也要知道:细粒度计数、空间关系(「左边的杯子」)、图里的文字,它都不擅长。而且它对预处理极其敏感——训练时用什么 resize、crop、归一化,推理时就得一模一样。换一套预处理,向量整体漂移,阈值全部失效,但代码不会报任何错。

另外值得一提的是 ViT:它把图片切成固定大小的 patch,每个 patch 拉平后过线性层,变成一串 token。这个思路本来是给图像分类用的,却正好为视频铺了路。

视频:patch 是 token,不是检索向量

视频比图像多了一个时间轴,处理方式分成两个几乎不相干的方向。

检索方向的目标是「找出相似的片段」。常见做法是抽帧,每帧过 CLIP 得到向量,再沿时间做聚合——平均、加权,或者用一个小的时序模型。短视频够用,长视频和动作类内容就吃力了:开门和关门,平均之后几乎是同一个向量。VideoMAE、VideoCLIP 这类模型在预训练阶段就见过时序,效果更好,但算力开销也上去了。

生成方向的目标完全不同,Sora 是代表。它的做法可以粗略拆成三步:

  1. 先用 VAE 把视频压到低维潜在空间,时间、空间一起压,保留主要结构,丢掉高频细节;
  2. 把潜在表示切成时空小块(spacetime patches),每块拉平成一个 token;
  3. 用扩散 Transformer 在这个 token 序列上做生成,文本和图像条件也编码成序列的一部分。
PYTHON5 行
1
2
3
4
5
# 概念示意,不是 Sora 的实现
z = vae.encode(video) # (T', H', W', C),压缩后的潜在表示
patches = spacetime_patchify(z, p=2) # 时空块 -> 定长 token 序列
tokens = patch_embed(patches)
out = diffusion_transformer(tokens, cond=text_tokens)

这里最容易产生的概念错位,是把 Sora 的 patch 当成「视频 embedding」,然后拿去算余弦。它不是为度量设计的,它是为重建和生成设计的:一个好的生成表示要保留细节、能被解码回像素;一个好的检索表示要丢掉细节、只留下可比较的语义。两者优化目标相反,不能混用。

顺带纠正一个流传挺广的说法:Sora 的技术报告只覆盖图像和视频,音频并不在它的统一表示里。后来一些模型把音频也切成 token 放进同一个序列,那是另一条线,不能直接算到 Sora 头上。

patch 和 GPT 里的 token 确实像:都是把连续信号切成离散单元,再映射成向量。区别在于 token 有明确的词表,patch 是从连续潜在空间里切出来的,没有词表,位置本身就带着时空信息。把视频压到 latent 再切块,很大程度上是为了控制序列长度——注意力的开销随长度平方增长,直接对像素做全局建模不现实。

地图画得对不对,得拿罗盘校一下

Embedding 可视化通常是把高维向量降到二维再画散点:PCA 保全局结构,t-SNE 保局部邻居,UMAP 介于两者之间。图很好看,但坑不少:t-SNE 的簇间距离几乎没有意义,簇的大小和形状会随 perplexity 变,同一个模型换组超参就能画出完全不同的图。所以可视化只适合看「有没有明显塌缩」,不能拿来证明模型好坏。

PYTHON5 行
1
2
3
4
5
from sklearn.decomposition import PCA
from sklearn.manifold import TSNE

xy = PCA(n_components=50).fit_transform(vecs) # 先降维,省时间也去噪
xy = TSNE(n_components=2, perplexity=15, init="pca").fit_transform(xy)

有个很实用的自检:随机抽一批向量,算两两余弦,如果中位数在 0.9 以上,基本可以确定模型塌缩了,或者某一侧忘了归一化。正常分布下,不相关的句子应该明显低于相关的句子;如果整体基线高得离谱,先别怀疑数据,先查预处理和归一化。

真正决定要不要上线的还是检索指标:拿一批真实查询,看 Recall@k、MRR、nDCG,再按查询类型分组看——语义问句、专有名词、数字、否定句,各组的短板往往不一样。可视化负责发现硬伤,评测负责做决定,这两件事不能互相替代。

「大力出奇迹」只说对了一半

有一种很流行的说法:只要模型足够大、数据足够多,Embedding 就能表示一切,万物皆可生成。规模确实解决容量问题,但它不解决表示质量。同样参数量下,训练目标、数据配比、负例构造,对检索效果的影响远大于多堆几层。

我在工程上更愿意记这几条:

模态 典型表示 适合做什么 最容易踩的坑
文本 句向量 / 块向量 语义检索、聚类、去重 池化方式、查询前缀、长文平均
图像 CNN 特征 / CLIP 以图搜图、以文搜图、去重 预处理不一致、特征层选错
视频 帧聚合 / 时空 patch 片段检索 / 生成建模 混淆检索表示与生成表示

还有两条和模型无关的:

模型版本就是索引的 schema。 换了 embedding 模型,旧向量全部作废,必须全量重建;查询侧和文档侧必须是同一个模型、同一套前缀、同一种归一化。我见过最隐蔽的 bug,是灰度期间两版模型共用一个索引,召回率莫名其妙掉了一半。

评测要用自己的查询分布。 公开榜单测的是通用语义,你的用户可能满嘴内部代号。我上次换模型,榜单涨了,内部代号那一组反而掉了,最后靠一份两百条的私有评测集才把问题定位出来。选型的具体维度我单独写过一篇(Embedding 选型:别只看榜单分数),这里不再展开。

回到开头那个「相关文章」。最后一版除了混合检索,我还加了一条很土规则:同一篇文章的向量每天重算一次,模型升级时全量重建。地图是会过期的,世界变了,坐标就得重画。Embedding 也一样,它不是一次性的转换,而是一套需要跟着数据和模型一起维护的表示。

关于本文

由 Lu's Blog 撰写,采用 CC BY-NC 4.0 许可协议。

#Embedding #向量检索 #多模态

评论