开场
“猫在卧室里走”和“狗在房间里跑”，你一读就知道这两句话说的差不多：一只动物在屋里走动。
假如有一个语言模型，训练用的文字里有“猫在卧室里走”，却从来没有“狗在房间里跑”。碰到后一句，它能接上吗？要接上，它得先知道“猫”和“狗”这两个词像。可它只读过文字，从没见过一只真的猫或狗。
02
只会数次数，没见过的句子分不到机会
统计语言模型的做法是数次数：把大量文字从头数到尾，记下每个词后面跟过什么，跟得多的，概率就大。
它有个老毛病：没见过的句子，最简单的数法会数出 0，接不下去。人们想过补救的办法，比如句子太长查不到，就退回去只看最后一两个词，可这样补得很粗。人每天说的话里，很多句子从来没有人原样写过，这个毛病躲不开。
2003 年，加拿大蒙特利尔大学的约书亚·本吉奥和几位研究者在论文里正面说出了这个难题：模型训练好以后，拿来测试它的新句子，多半和训练时见过的每一句都不一样。论文里用英文举了一个例子，意思正是开头那两句：见过“猫在卧室里走”，应该能帮模型把“狗在房间里跑”也算得差不多可能，因为“猫”和“狗”、“卧室”和“房间”、“走”和“跑”，用法都很像。
问题于是变成：只读文字，怎么知道两个词用法像？
03
看一个词和谁做伴
1957 年，英国语言学家弗斯说过一句后来常被引用的话：要认识一个词，看它和谁做伴。两个词常和同样的词一起出现，用法就像。
我们自己编 10 句话，照这个办法数一数：
- 1我给猫喂了鱼。
- 2我给狗喂了肉。
- 3猫在沙发上睡觉。
- 4狗在沙发上睡觉。
- 5猫在院子里跑。
- 6狗在院子里跑。
- 7狗在门口叫。
- 8爸爸开汽车上班。
- 9汽车在马路上跑。
- 10妈妈给汽车加油。
挑出“喂、睡觉、跑、叫、开、加油”6 个词，数“猫”“狗”“汽车”各和它们一起出现了几次，每个词就得到一行 6 个数：
- 猫：1，1，1，0，0，0
- 狗：1，1，1，1，0，0
- 汽车：0，0，1，0，1，1
“猫”和“狗”这两行几乎一样，只差一个“叫”；“汽车”只在“跑”这一格，和它们一起不是 0。照这个办法，光从句子里数，不用告诉电脑猫和狗都是动物，也能看出这两个词用法像。
用一串数表示一个词，这串数叫这个词的词向量。上面每一行数，就是一个最简单的词向量，它的每一格都对应一个看得懂的词。
05
本吉奥：猜下一个词，顺手调出这串数
本吉奥的神经网络语言模型没有去数这样一张表。神经网络是一种计算方法，它里面有很多可以调的数，拿大量例子反复练习，每次练完都把这些数调一点，让下一次算得更准。
本吉奥给每个词一串数，论文里是 30、60 或 100 个，一开始是随便定的。模型拿一个词的这串数，去算后面接什么的概率。它拿大量句子练习猜下一个词，猜完对照原文，把相关的数调一点。
拿前面的 10 句话想一想：“猫”后面要接“在沙发上睡觉”，“狗”后面也要接。要让两边都猜对，“猫”和“狗”的两串数就得起差不多的作用，于是常被往同一个方向调。练得多了，和同样的词做伴的两个词，数多半会越来越像。
数像了，算出来的概率也就像。模型见过“猫在卧室里走”，碰到“狗在房间里跑”，每个词都有一个数很像的词在前面那句里，这句话就能算出不小的概率，不会只得到 0。
和手数的表不一样，这样调出来的每一个数，都不对应哪个看得懂的词。
06
一个真实模型算出来的词向量
今天有一类模型，叫文本向量模型，专门把文字变成一串数，常用在搜索里：把意思相近的文字找出来。它算数的办法和本吉奥的模型不一样，我们只用它看看真实的词向量长什么样，用法像的词是不是真的数也像。
我们用的是阿里云的文本向量模型 text-embedding-v4，它给每个词算 1024 个数。这是“猫”的词向量：
前面带“-”的数比 0 还小，叫负数。和本吉奥的模型一样，这些数单看看不出意思，要拿去比。把论文例子里的三对词都算一遍余弦相似度，每对旁边再放一对不像的做对照：
| 论文里的一对 | 相似度 | 对照 | 相似度 |
|---|---|---|---|
| 猫和狗 | 0.69 | 猫和汽车 | 0.46 |
| 卧室和房间 | 0.78 | 卧室和老虎 | 0.28 |
| 走和跑 | 0.62 | 走和苹果 | 0.40 |
每一组里，论文说用法像的那一对，都更接近 1。在这个模型里，不怎么相干的两个词也常有 0.4 左右，所以要和对照比，不看单个数。
07
“苹果”最像的词是手机
和一个词最像的几个词，叫它的近邻。在我们算过的 137 个词里，“苹果”的近邻是这样的：
离“苹果”最近的是手机（0.67）、电脑（0.65）、平板（0.58）；香蕉只有 0.43，西瓜 0.46。
用“看它和谁做伴”来想：“新买的____屏幕很亮”“____发布会”，空里填“苹果”通，填“手机”“电脑”也通。说苹果的很多句子，和说手机、电脑的句子长得像，它们就和同样的词做伴。这多半就是苹果挨着手机的原因。所以近邻是用法像的词，不一定长得像，也不一定是同一类东西。
“汉堡”也一样：它最像的词是北京（0.70），比面包（0.49）还像。德国有座城市叫汉堡，“去____旅游”“____是一座大城市”，空里填汉堡、填北京都通。
也有说不清的：“苹果”的第 4 个近邻是“马”（0.55）。为什么这样，我们也不知道。
08
把 1024 个数压到一张纸上
每个词 1024 个数，没法直接画出来。有一种办法能把每个词压成平面上的一个点，让原来像的词尽量挨在一起。压的时候难免走样，平面上挨着，不一定真的最像。我们拿 33 个词试了一下：
动物大致一团，交通工具一团，卧室、厨房、房间一团，电脑和手机一团。“苹果”在电脑和手机旁边。也有走样的地方：“米饭”跑到了“跳”“跑”这些动作词旁边。
09
袋鼠吃什么，向近邻借
再拿一句可能没见过的话试试：“袋鼠吃草”。如果训练的文字里从来没有这一句，最简单的数法又会数出 0。看看“袋鼠”的近邻：
考拉吃桉树叶，斑马和河马吃草，大象吃草和树叶，只有企鹅吃鱼和磷虾。只要训练的文字里有“斑马吃草”“河马吃草”这样的句子，神经网络语言模型就算没见过“袋鼠吃草”，也能算出不小的概率。
借来的不一定对。企鹅也在近邻里，如果只借企鹅的，就会接出“袋鼠吃鱼”。近邻和句子越多，借来的越靠得住。
