聊天 AI 是怎么学会说话的
电脑不知道猫是动物，怎么知道猫和狗像？
词向量：数出一个词的一串数
猫和狗像不像？你会说像，都是动物。电脑不知道什么是动物，它手里只有一句一句的话。可只要数一数猫和狗在句子里跟谁一起出现，就能给每个词数出一行数：猫是 1、1、1、0、0、0。再用一个真实的 AI 模型比一比，跟德克士最像的是肯德基，跟汉堡最像的却是北京。
一顿午饭，一句大话
2026 年 11 月 9 日，Alexandr Wang 在 X 上发了一条帖子。X 以前叫推特，是一个发短帖的网站。Wang 是 Meta 的首席 AI 官，Meta 就是 Facebook、Instagram、WhatsApp 背后的公司。帖子回忆了将近十年前的一顿午饭，有约 3,700 个赞；他的好友 Scott Wu 在下面回了一句：“美好的回忆”。
帖子全文是这样的（我们翻成中文，没有删节）：
要不是 Scott 提醒，我都忘了这件事：2017 年 1 月，我们俩都是 19 岁，Scott 和我在旧金山吃了一顿午饭。
吃饭的时候，我们聊到，我们这群 IMO、IOI 和数学竞赛的伙伴，可能会成为下一个“PayPal 黑帮”。我知道，这些参加竞赛的孩子无论用什么标准衡量都是天才，我也相信，假以时日，我们能在科技界闯出一番天地。
快进将近十年，那时候的很多朋友，如今成了 AI 和科技界最让人兴奋的一批人。（接着他点了 15 个名字，还说“还有很多我肯定忘了的人”。）
我现在到了会怀念一起长大的那些人的年纪了。这些人里，大多数我从初中就认识了（通过 MATHCOUNTS！）。虽然我们分散在全国各地，但我们会在 gchat 上聊数学题，泡在 AoPS 上，后来一起去数学和算法夏令营，再后来一起去实习。
想想我们还是青少年时，这群人有多么聪明，真是不可思议；看到这么多人后来在世界上留下了自己的印记，真的很特别。
给家长的话：如果你的孩子整天在 gchat 上，跟一群天南地北、素未谋面的亚裔孩子一起解数学题，他（她）大概会没事的。
帖子里的几个名字：
- IMO：国际数学奥林匹克，全世界中学生的数学竞赛，每个国家派 6 个人参加。
- IOI：国际信息学奥林匹克，中学生的编程竞赛，每个国家派 4 个人。
- MATHCOUNTS：美国初中生的数学竞赛。
- AoPS：一个解数学题的网站和论坛，参加竞赛的学生常在上面讨论题目。
- gchat：谷歌以前的网页聊天工具。
“PayPal 黑帮”是一个玩笑外号，不是真的黑帮。PayPal 是美国一家在网上付钱、转账的公司，1998 年前后成立，2002 年卖给了 eBay。它早年的一批员工后来各自出去办公司：陈士骏（Steve Chen）和另外两位前同事 2005 年办了 YouTube，陈士骏 1978 年出生在台北；Reid Hoffman 办了找工作、认识同行的网站领英；马斯克（Elon Musk）后来办了造火箭的 SpaceX。一群老同事后来都成了创业者，就有了这个外号。Wang 的意思是：我们这群一起做竞赛题的人，将来也会这样。
帖子里的两个人：
- Alexandr Wang：1997 年出生在美国新墨西哥州的洛斯阿拉莫斯，父母都是从中国去的物理学家。中学参加信息学竞赛，2014 年入选美国物理代表队。上了麻省理工学院，没读完就退学，19 岁和 Lucy Guo 一起办了 Scale AI。这家公司给训练 AI 用的资料做标注，比如在一张照片里框出哪是车、哪是人。2025 年 6 月，Meta 花约 143 亿美元买下 Scale AI 49% 的股份，请他当 Meta 第一位首席 AI 官，带领新成立的“超级智能实验室”。
- Scott Wu：1996 年出生在美国路易斯安那州，父母来自上海。2011 年拿过 MATHCOUNTS 全国冠军，国际信息学奥林匹克拿过 3 次金牌，2014 年是个人第一。2023 年和朋友办了 Cognition，做出了会自己写程序的 AI“Devin”。2026 年 9 月，这家公司估值 480 亿美元。
十年后，这群朋友在做什么
帖子点的 15 个名字里，我们查清了 13 位。
办公司的
| 人 | 公司 | 公司做什么 | 他／她在公司里 | 竞赛经历 |
|---|---|---|---|---|
| Scott Wu | Cognition | 会自己写程序的 AI“Devin” | 联合创始人，CEO | IOI 3 枚金牌 |
| Steven Hao | Cognition | 同上 | 联合创始人，技术负责人 | IOI 金牌 |
| Johnny Ho | Perplexity | 用 AI 回答问题的搜索网站，回答里列出出处 | 联合创始人 | 据报道拿过 IOI 金牌 |
| Akshat Bubna | Modal | 让程序员租电脑来跑 AI | 联合创始人，技术负责人 | IOI 金牌（2014） |
| Jesse Zhang | Decagon | 帮公司用 AI 当客服 | 联合创始人，CEO | 信息学竞赛 |
| Demi Guo | Pika | 用一句话生成视频的 AI | 联合创始人，CEO | 没查到 |
| Jeff Yan | Hyperliquid | 加密货币交易平台 | 创始人 | 没查到 |
| Eugene Chen | Ellipsis Labs | 加密货币相关 | CEO | 没查到 |
在 AI 公司做研究的：Alex Wei 在 OpenAI。2025 年 7 月，他所在团队的实验模型做那一年国际数学奥林匹克的 6 道题，做出 5 道，得 35 分（满分 42），达到金牌线；同一届，Google 的 Gemini Deep Think 也拿到 35 分。Vickie Ye 在 Anthropic 做预训练，就是让 AI 先读大量文字打底子。还有几位也在 AI 公司做研究。
当教授的：Mark Sellke 是哈佛大学统计系的助理教授，中学拿过两次 IMO 金牌。2026 年 6 月，哈佛报道他的团队用 OpenAI 的模型解决了数学家埃尔德什留下的难题。
这群人初中就通过竞赛认识，分散在美国各地，靠网上聊天、解题论坛保持联系，再一起去夏令营、一起实习。
名单里有华裔，硅谷里也有很多
名单里有华裔：Alexandr Wang 的父母是从中国去的物理学家，Scott Wu 的父母来自上海，Jeff Yan 的父母也是中国移民。名单也不全是华裔：Akshat Bubna 是印度裔名字，Mark Sellke 和 Daniel Ziegler 不是亚裔。Wang 原话写的是“亚裔孩子”。
那硅谷里华裔多吗？没有一份数据专门数“硅谷华裔”，只有几种不同的算法。下面每个数都写明是怎么算的，不同算法的数不能放在一起比。
硅谷是美国加州旧金山南边的一片地方，苹果、谷歌、英伟达、Meta 的总部都在这一带，核心是圣克拉拉县。
- 按祖籍算，住在这里的人：圣克拉拉县约 191 万人，每 100 个居民里 44 个是亚裔。祖籍中国的约 25 万人，大约每 100 人里 13 个（美国人口普查，2024 年五年数据）。苹果总部所在的库比蒂诺，每 10 个人里 7 个是亚裔。
- 按出生地算，做科技工作的人：2023 年，硅谷有本科以上学历、做科技工作的人里，每 100 个有 70 个出生在外国：23 个出生在印度，18 个出生在中国大陆，4 个出生在台湾（硅谷指数 2025）。
- 按出生地算，办大公司的人：美国国家政策基金会 2026 年 6 月数了美国 775 家估值 10 亿美元以上、还没上市的公司，455 家有移民创始人。按创始人出生的国家排，印度 96 家，以色列 60 家，英国 47 家，中国 41 家。Scott Wu、Alexandr Wang 这样出生在美国的华裔，不算在里面。
当公司掌门、带团队的华裔
| 人 | 出身 | 公司 | 一件事 |
|---|---|---|---|
| 黄仁勋（Jensen Huang） | 台湾出生 | 英伟达，创始人、CEO | 1993 年创办；现在训练 AI 用的芯片大多是英伟达做的 |
| 苏姿丰（Lisa Su） | 1969 年生于台南 | AMD，CEO | 2014 年起掌舵，也做电脑芯片和 AI 芯片 |
| 陈立武（Lip-Bu Tan） | 1959 年生于马来西亚的华人家庭 | 英特尔，CEO | 2025 年 3 月上任 |
| 陈福阳（Hock Tan） | 马来西亚槟城出生的华人 | 博通，CEO | 2006 年起掌舵，做芯片 |
| 袁征（Eric Yuan） | 1970 年生于山东泰安 | Zoom，创始人、CEO | 很多人上网课用的视频会议软件 |
| 徐迅（Tony Xu） | 南京出生 | DoorDash，联合创始人、CEO | 美国很大的外卖平台 |
| 杨致远（Jerry Yang） | 1968 年生于台北 | 雅虎，联合创始人 | 早年人们上网的入口网站 |
| 李飞飞 | 1976 年生于北京，15 岁到美国 | 斯坦福大学教授 | 带人建了 ImageNet：一千多万张标好名字的照片，让 AI 认图的本领进步了一大截 |
| 吴恩达（Andrew Ng） | 伦敦出生，父母来自香港 | 谷歌 | 2011 年参与创办谷歌的 AI 研究团队 Google Brain |
据报道，黄仁勋和苏姿丰是远房亲戚：苏姿丰的外公是黄仁勋母亲的大哥。两人小时候并不认识，后来分别当上了两家对手公司的 CEO。
人多，当头的少
也有另一面：人多，当头的少。Ascend 基金会 2022 年用各公司报给美国政府的员工数据（主要是 2020 年的）算过，这次算的是整个亚裔，包括印度裔、韩裔、越南裔。在 Meta，每 100 个专业员工里约 50 个是亚裔，每 100 个高管里只有约 26 个；谷歌是 45 个和 25 个，苹果是 47 个和 18 个。
走进我们讲过的 AI 公司
之前几期讲过 OpenAI、谷歌、Meta、Anthropic。这些公司做 AI 研究的团队里，华人更多。AMiner 2024 年按技术报告上的作者名字，数了 8 个海外大模型团队的核心成员：899 人里，华人 167 个，大约每 100 人里 19 个。
OpenAI（做 ChatGPT 的公司）在官网公开了 o1 的全部贡献者，o1 是它 2024 年 9 月发布的、先想一会儿再回答的模型。我们按名字数了一遍：去掉重复，名单上有 236 人，名字是汉语拼音的有 36 人；再加上用英文名、姓是华人常见姓的，一共约 66 人。按名字数会多算也会漏算，只能说大约每 6 个里有 1 个到每 4 个里有 1 个是华人。
- Mark Chen：OpenAI 管研究的最高负责人之一，参与带领过画图的 DALL·E、GPT-4 和 o1。
- 翁荔（Lilian Weng）：北大本科，在 OpenAI 负责让 AI 别做危险的事。2024 年离开去办新公司，2026 年 7 月又回到了 OpenAI。
- 欧阳龙（Long Ouyang）：一篇论文的第一作者，这篇论文让人给 AI 的回答打分，教它更好地听懂指令，ChatGPT 就是用这套方法训练出来的。
- 宋飏（Yang Song）：清华本科，扩散模型的奠基人之一。扩散模型是 AI 画图常用的一种方法。
Meta 2025 年夏天开出很高的报酬，从别的公司请来一批研究者，组建了 Alexandr Wang 带领的超级智能实验室。网上流出的 44 人名单里，本科在中国的大学读的有 21 人，接近一半。赵晟佳是其中之一：清华本科，在 OpenAI 参与做出 ChatGPT 和 GPT-4，2025 年 7 月起是这个实验室的首席科学家。
谷歌：吴永辉南京大学本科毕业，在谷歌工作 17 年，做过谷歌翻译的神经网络版，是 Gemini 的作者之一。2025 年 2 月，他离开谷歌，加入了抖音的母公司字节跳动。
Anthropic（做 Claude 的公司）：能查清的人很少，也没有统计。Claude Code 的产品负责人 Cat Wu，2026 年 11 月初去了 OpenAI。
xAI（马斯克的 AI 公司）：2023 年创办时有 12 位联合创始人，其中 4 位是华人名字。到 2026 年 3 月，这 4 位都已经离开或改做顾问。
像球星一样换公司，也有人回中国
| 人 | 换过的地方 |
|---|---|
| 余家辉 | 谷歌 → OpenAI → Meta → 自己创业（2026 年 8 月） |
| 庞若鸣 | 谷歌（约 15 年）→ 苹果 → Meta（7 个月）→ OpenAI（2026 年 2 月） |
| 翁荔 | OpenAI → 新公司 → OpenAI（2026 年 7 月） |
| 姚顺宇 | Anthropic → 谷歌（2025 年 9 月） |
| 姚顺雨 | OpenAI → 腾讯首席 AI 科学家（2025 年 12 月） |
| 吴永辉 | 谷歌（17 年）→ 字节跳动（2025 年 2 月） |
姚顺宇和姚顺雨是两个人，名字只差一个字。
卡内基国际和平基金会 2026 年 9 月追查了 2025 年 NeurIPS 一万多位论文作者的经历。NeurIPS 是世界上规模最大的 AI 学术会议。按本科在哪读算：每 100 位作者里，57 位本科在中国读，13 位本科在美国读。本科在中国读的这些研究者，最后回中国工作的，2022 年是每 100 人里 57 个，2025 年升到了 69 个。
反过来，中国的 AI 公司也开始到硅谷招人：MiniMax 在旧金山挂出了约 16 个职位，月之暗面、字节跳动也在美国开了办公室。
开场
猫和狗像不像？你多半会说像：都是动物，都有毛，都能养在家里。“猫”和“狗”两个字，还都带着反犬旁。
这些都是你知道的。训练语言模型的时候，电脑拿到的只是一句一句的文字：它没摸过猫，也不认得偏旁是什么意思。
可在上一篇《汉堡和北京，AI 为什么觉得它们最像？》里，我们用一个真实的 AI 模型比过：在它那里，猫和狗比猫和汽车像得多。只看句子，它是怎么知道的？这一篇我们自己动手，从 10 句话里把它数出来。
02
电脑手里只有句子
要接上“袋鼠吃草”，模型得知道袋鼠和斑马、河马这些常和“吃草”一起出现的词像，才能向它们借经验。可“像”从哪里来？电脑不知道袋鼠是动物，也没见过草原，它手里只有句子。
1957 年，英国语言学家弗斯说过一句后来常被引用的话：要认识一个词，看它和谁做伴。两个词常和同样的词一起出现，用法就像。
这句话可以直接拿来数：数一个词和哪些词在同一句话里出现，出现了几次。
04
这一行数，就是猫的一串数
数完，猫这一行是：1，1，1，0，0，0。这 6 个数，就是“猫”的一串数。狗也有一串：1，1，1，1，0，0；汽车是 0，0，1，0，1，1。
用一串数表示一个词，这串数叫这个词的词向量。我们数出来的，是最简单的一种：每一格都对着一个看得懂的词。猫在“喂”那一格是 1，意思是这 10 句话里有 1 句同时说到了猫和喂。
05
两串数，比一比像不像
比两个词像不像，就比它们的两串数。一格一格对着看：猫和狗在喂、睡觉、跑这 3 格都是 1；猫和汽车只在跑这 1 格都是 1。猫的那串数，更像狗的。
两串数有多像，可以算成一个数，数学上有现成的算法，叫余弦相似度，越接近 1 越像。猫和狗是 0.87，猫和汽车是 0.33。狗比猫多了一格“叫”，所以猫和狗不到 1。
整个过程里，没有人告诉电脑猫和狗都是动物。只靠数句子，就能看出这两个词用法像。
06
给兔子也数一行
换一个词，再用一次这个办法。给兔子编 3 句话，用上表里的词：
- 1我给兔子喂了胡萝卜。
- 2兔子在窝里睡觉。
- 3兔子在草地上跑。
数出来，兔子这一行是 1，1，1，0，0，0，和猫一模一样，余弦相似度是 1。
要是再加一句“兔子在加油”，加油那一格就变成 1。兔子和猫的相似度从 1 降到 0.87，和汽车从 0.33 升到 0.58。
兔子不会加油，可电脑分不出一句话是真是假。句子怎么写，这一行数就怎么变：词向量记下的，是这个词在句子里怎么用。
07
字太多，数不过来
我们的表只有 3 行 6 列。真正的语言模型要认识的词多得多。如果有 5 万个词，每个词一行，每个词也都可能做一列，就是一张 5 万行、5 万列的表，一共 25 亿格。一秒钟数一格，不吃不睡也要数 79 年。而且这些格子几乎全是 0。
2003 年，加拿大蒙特利尔大学的约书亚·本吉奥和几位研究者用了另一个办法，不先数表。他们先给每个词随便配一串数，论文里是 30、60 或 100 个；再拿大量句子练习猜下一个词，一边猜，一边把这些数一点点改好。这种一边练习、一边改数的过程，叫训练。
这个办法里有三件事要弄明白：一串数，怎么拿来猜下一个词？猜错了，数往哪里改？改着改着，猫和狗的数为什么会变像？为了看清楚，我们自己做了一个很小的语言模型，只用前面那 10 句话来训练它。
09
猜错了，就挪一点
小模型读第一句“我给猫喂了鱼”。它用猫现在的位置去猜，“喂”的概率不大，猜得不好。于是把猫往“喂”那边挪一小步，也把“喂”往猫这边挪一小步；概率给多了的那几个词，往外挪一点。下次再猜，“喂”的概率就大了一些。
一句一句读，一遍一遍读，每读一句就挪一小步。本吉奥的办法也是这四步：
- 1先给每个词随便配一串数。
- 2拿这串数去算下一个词的概率，也就是猜下一个词。
- 3对照原句，猜得不好，就把相关的数改一点。
- 4换下一句，再猜、再改，练很多遍。
10
猫和狗，被同样的句子推到一块
看看是哪些句子在拉猫：“我给猫喂了鱼”把猫往“喂”那边拉，“猫在沙发上睡觉”往“睡觉”那边拉，“猫在院子里跑”往“跑”那边拉。拉狗的几乎是同样的句子：“喂”“睡觉”“跑”，再加一个“叫”。拉汽车的是“开”“加油”，只有“跑”和猫、狗一样。
读了 10 遍，猫和狗的距离从 1.39 缩到 0.21，挨在了一起；猫和汽车从 0.36 拉开到 1.67。没有人告诉这个小模型猫和狗是动物，是同样的句子把它们推到了一块。
调出来的数和我们手数的不一样：单看一个数，看不出它对着哪个词，要拿两串一起比。道理是同一个：用法像，数就像。
11
没见过的句子，就这样接上
10 句话里，没有一句同时说到猫和叫。可读完 10 遍以后，小模型猜“猫”后面接“叫”的概率从 0.03 涨到了 0.22，是接“开”（0.02）的 10 倍多。
这是因为狗和“叫”一起出现过，“叫”被拉到了狗旁边；猫又挨着狗，离“叫”也就近了。离得近，算出来的概率就大。
小模型没有去查“猫和狗像不像”，也没有谁规定猫要跟狗学。两个词的数像了，算出来的概率自然就像。这就是向近邻借经验。本吉奥 2003 年的论文说的正是这件事：见过“猫在卧室里走”，应该能帮模型把“狗在房间里跑”也算得差不多可能。
这个小模型就是前面那个能点的《读一句，挪一步》，可以回去一句一句看着它挪。
12
一个真实模型里，兔子挨着谁
今天的 AI 模型给一个词的数更长。我们用阿里云的文本向量模型 text-embedding-v4，给 144 个词各算了一串 1024 个数，再两两算余弦相似度。和一个词最像的几个词，叫它的近邻。
兔子的近邻是羊（0.68）、老鼠（0.66）、鹿（0.66）、狼（0.64）、狗（0.64）。猫只有 0.59，在兔子的近邻里排第 10。
这和我们手数的结果不一样，并不矛盾：我们只用了 3 句兔子的话，这个模型用来训练的文字多得多。至于为什么偏偏是羊排第一，我们也说不清。
13
德克士挨着肯德基，汉堡却挨着北京
再看几个吃的。德克士最像的是肯德基（0.82）和麦当劳（0.80）。说这三家的句子差不多：“去____吃炸鸡”，填哪一家都通。
汉堡是快餐店里卖的，可它最像的词是北京（0.70）；和麦当劳只有 0.45，比面包（0.49）还低。德国有一座城市就叫汉堡，网上很多句子里的“汉堡”说的是这座城市：“去____旅游”“____是一座大城市”，填汉堡、填北京都通。
所以近邻看的是用法像，不是长得像，也不一定是同一类东西。
14
袋鼠吃草，向近邻借
回到开头的问题。袋鼠的近邻是考拉（0.73）、斑马（0.70）、大象（0.67）、河马（0.65）、企鹅（0.63）。考拉吃桉树叶，斑马和河马吃草，大象吃草和树叶。
神经网络语言模型里也是这样：训练的文字里有“斑马吃草”“河马吃草”，袋鼠的数又和斑马、河马的像，它就算没见过“袋鼠吃草”，也能借斑马、河马的经验，算出不小的概率，不再是 0。
借来的不一定对。企鹅吃鱼和磷虾，如果只借企鹅的，就会接出“袋鼠吃鱼”。近邻和句子越多，借来的越靠得住。
署名：王叔叔