# 对英伟达研究副总裁刘洺堉的4小时访谈：功夫、Cosmos 3、开源世界模型、黄仁勋、你不需要击败所有对手

> 张小珺商业访谈录 No. 150 精读

- 发布日期：2026-08-12
- 主持：张小珺
- 原节目：https://www.xiaoyuzhoufm.com/episode/6a7cbeb017676351c5710266
- 网页版：https://zhangxiaojun.qiaomu.ai/ep/6a7cbeb017676351c5710266.html
- 精读字数：约 7675 字（阅读约 17 分钟）

> 本文为 zhangxiaojun.qiaomu.ai 基于节目转写的 AI 整理精读，不是逐字稿；引用请注明出处并链接网页版。

2026 年 7 月，黄仁勋访华一个月后，张小珺在上海见到刘洺堉。黑色夹克，有点旧的斜挎包，说话音量不大，看起来不像一个掌管数百人团队的副总裁。

他的日常是凌晨四点多起床，蹲桩、打拳，练完一套再跳进冰桶。18 岁起跟着武术家徐纪学八极拳劈挂掌，一练三十多年。徐纪是刘云樵的弟子，刘云樵出自「神枪」李书文一脉。刘洺堉说，中国武术最重要的是控制自己，要把力量从脚一路传到手，全身协调，一瞬间完成。

他是英伟达研究副总裁、Cosmos Lab 负责人，领导世界基座模型 Cosmos，也是英伟达第一位从研究员升到副总裁的人。这期四个小时的访谈聊了 Cosmos 3、世界模型、物理 AI、黄仁勋的管理方式，以及他反复讲的一句话：我没有竞争对手。

## 一家基础设施公司，为什么要自己做模型 0:02:35

Cosmos 项目在英伟达内部的分量，用人数就能看出来。刘洺堉直属的团队八九十人，研究员加工程师；虚线汇报、一起做 Cosmos 的人在两三百人之间。Cosmos 3 的论文作者接近 300 人。

一家卖算力的公司，为什么要养这么一支队伍做模型？刘洺堉的解释很实在：芯片和计算架构的设计周期很长，今天发现方向不对，改不了，要提前好几年规划。不做应用，就不理解客户真正需要什么，也就设计不出合适的芯片。

Cosmos 选择开源，模型、训练框架、部分合成数据都放出去。他的说法是给社区一个信号：英伟达会一代一代做下去，大家可以放心把资源投到更关键的地方。每家公司资源都有限，找到痛点去投入才容易出头，英伟达分担一部分压力，让做物理 AI 的公司少走弯路。

「我不觉得是在竞争，我觉得是在帮助大家成功。」

这套说法背后是黄仁勋反复讲的 zero-billion-dollar business：现在还不是生意，但做成之后必须很有影响力。**每年赚一亿美元，对很多公司是大事，对英伟达是 distraction。**要去解最重要的问题，产生最大的贡献。

所以黄仁勋给 Cosmos 定的目标不是一代两代。Cosmos 1 做完，刘洺堉去问要不要继续做，得到的回答是：

> 你就做到 Cosmos 97。

97 这个数字是随口说的，决心不是。刘洺堉算过，每半年一代，做到 97 代要四十几年。他觉得 AI 发展这么快，也许用不了那么久。

## 三次换轨：从无线通讯到 GAN，再到 Diffusion 0:29:57

刘洺堉在台北长大，高中时最热门的科技是无线通讯，那个年代的手机还是诺基亚，块头很大。他考进台湾交通大学，在新竹学无线通讯。同学毕业后大多去联发科、台积电，都是台湾最擅长的工作。

大三那年他去看美国博士班在做什么，发现差别很大。他在台湾算的是怎么设计协议让传输更快，这是提升；美国那边看起来每个成果都是 0 到 1 的变化。他决定出去闯一闯。跟父母说要留学，父母吓了一跳，认识他二十几年，从没听他说过这件事。

原本想学量子通讯。去美国之前，他在台湾的英特尔实习一年，认识了一个做影像识别的朋友，第一次看到从像素里判断画面里是谁、有什么物体。他觉得很神奇。后来他进了马里兰大学读博士，导师是 Rama Chellappa，计算机视觉领域的先驱。第一个题目是从视频里看一个人走路的姿态，判断这个人是谁。

博士毕业那年，AlexNet 出来了。

他去了三菱电机研究院，在剑桥，MIT 旁边。这家机构在 90 年代很强，跟微软研究院一争高下，Bill Freeman 这些人都在那里待过。研究院风气自由，他有很多时间学深度学习。他的导师相信生成，相信「把东西造出来」是理解的一部分。费曼那句话他记得很清楚：If I cannot create, I cannot understand。

早期做生成，能生成 32×32 的人脸、看起来不像鬼，就已经很成功。他做了 couple GAN，把两个生成网络耦合在一起，形成 information bottleneck，让马变成斑马这类无监督图像转换成为可能。

他讲了三个对自己影响很大的时刻。

第一个是年轻时喜欢漂亮的数学。计算机视觉早期什么都不 work，大量用优化算法找最优解，连续问题会陷入非凸，离散问题是 NP-hard，只能证明「我的答案离最优解不超过 4%」。为了让数学干净，会做假设，假设让人离真实世界更远。后来他意识到 AI 本身就是应用，越来越在意问题的本质，不被花巧的数学迷惑。

第二个是「我做 100 分，解释只有 10 分，别人看到的就是 10 分」。他做出东西，但不太会讲清楚为什么重要。

第三个是团结合作。人跟人点对点沟通的复杂度是 n 的平方，不容易 scale。要把事情讲得足够明确，让所有人目标一致，才可能做大。

2021 年前后，他做了一个重要判断：GAN 不 scalable。团队花了很大力气想让 GAN 更稳定，结论一次次指向同一个方向。他跟团队说，不能做 GAN 了，转 diffusion。后来有了 Edify 系列，图像、多视角、3D 生成一路做下来。

他形容这个过程越变越简单，像是在找描述世界运作方式的最简形式。深度学习在他看来很像中医，试出来的，做详细实验记录，从里面理解法则。

## 一千张 A100，和一封写给黄仁勋的信 1:02:46

在三菱电机，他不停跟经理要 GPU。经理不重视算力，重视算法，每次吵赢了给他经费买卡，同时自己买英伟达的股票。后来经理退休，才告诉他这件事。

真正让他换工作的是一个很朴素的念头：我这么缺 GPU，为什么不去一家生产 GPU 的公司。那时候谷歌、苹果、Meta 都在招人，他选了英伟达。父母不理解，这家公司他们没听过，苹果谷歌不好吗。他的回答是，GPU 对做研究最重要。

2016 年加入时，英伟达研究院不到 100 人，大部分做图形学，做 AI 的人很少。他给的公司演讲主题是：有一天生成视频的主流会是深度学习，传统图形管线会退到后面。这个判断在当时很前瞻。

DALL-E 出来之后，他给黄仁勋写了一封信，说未来已经很明确，英伟达很多客户用 GPU 做图形，不能在深度学习生成影像这件事上落后，必须投资源给团队。他要了 1000 张 A100。那时候还在 A100 的时代，1000 张是很大的数目，把 1000 张卡串起来做高效训练也不容易。

他同时写信给 Getty Images，谈成了合作：对方提供数据，英伟达提供算力和模型，一起做文生图。项目叫 Picasso，目标是做 AI foundry，帮有数据但没有 AI 人才和基础设施的公司做出自己的生成模型，再服务他们的客户。

那段时间他带了很多实习生。Tim Brooks 当时一心想做视频生成，后来去了 OpenAI，做出 Sora。余家辉也在他这里实习过，现在在 Meta。还有一个实习生后来做出了 AdamW 优化器，如今大家都在用。

他讲起这些人的语气是高兴的。sora 出来那天，他开心，也有点失落。他反复问自己，在决策和判断上哪里没看对，为什么没有在正确的时间做正确的事。他说自己是个喜欢自我反省的人。

## 第一个从研究员做到副总裁的人 1:21:57

在英伟达前几年，他每年跳一级。做到研究副总裁，他说自己可能是第一个从研究员升上来的。

原因他讲得很平实：英伟达还没有 AI 人才的时候他就在，帮公司建立 AI 社区的知名度，解释 AI 怎么影响公司，同时喜欢把东西做出来。一步步获得信任，公司愿意把越来越大的项目交给他。现在 Cosmos 每天光算力和存储成本就是几百万美元。

研究员和管理者的天性是相悖的。研究员要创新，ego 高，需要认可。他承认自己还是个研究员，还读论文，还会写点实现，还 review 大家的代码。公司里知道他继续看代码的人不多。他最担心的是跟底层脱钩，不理解问题核心，就没法判断每个人贡献在哪里。

Cosmos 的立项发生在 Sora 之后。几位做生成模型的研究员一起讨论，一起给黄仁勋写信，把要做世界模拟器这件事变成公司共识。黄仁勋把大家聚起来开会，会上讨论具体怎么做、谁负责。

他记得一个细节：黄仁勋让每个人回去想项目名字。他其实知道最后黄仁勋会提出更好的名字，有点不想浪费力气，就说你直接告诉我们吧。黄仁勋说不行，你要去想。因为名字跟产品定位高度相关。最后定下来叫 Cosmos，宇宙。目标是解物理世界的问题，并非做内容创作。

2024 年 3 月，项目正式启动。

## 从 22 个模型到一个 Cosmos 3 1:51:39

第一版规划时，刘洺堉自己算了一下，要服务好不同的合作伙伴，大概需要 22 个模型。他拿着这个数字去跟黄仁勋开会，黄仁勋先说 very good，然后讲了一个故事：Louis Vuitton 减少货架上陈列的 SKU 之后，销售额反而涨了。东西太多会让消费者困惑，没法做决定。

这句话对他影响很大。他自己都分不清该用 A 还是 B，客户更分不清。再加上维护成本，模型越多迭代越慢，备多则力寡。

于是有了 Cosmos 3 的核心决定：把所有方向收进一个模型。第一代有 Cosmos Predict、Reason、Transfer、Policy 几条线，分别负责预测未来、解释发生了什么、把仿真画面变逼真、根据观察输出动作。这些模型描述的是同一个世界，数据合在一起，模型上限更高，开发也简单得多。

技术上是双塔设计：一个塔处理离散信息，从视觉语言模型出发，负责理解；一个塔处理连续信息，走扩散路线，负责生成。输入模态有四种：语言、视频、音频、动作。

**动作被当成一等公民。**刘洺堉的判断是，物理世界的智能体要改变世界状态，好的物理世界基座模型必须懂动作。语言让人能跟机器沟通，视频和音频描述世界怎么运作，动作负责改变世界。

有人担心语言会污染视觉，谢赛宁说过语言只是人类的脚手架。刘洺堉的看法是目的不同。他要的是一个服务物理 AI 的基座模型，需要语言、需要视觉、需要动作。追求 AGI 是另一回事，那时候视觉信号可能是干扰，也说不定机器能从视觉里直接学出另一套智能。

多模态之间确实互补。Cosmos Policy 那篇工作发现，预测动作的同时预测动作之后的画面，能帮助动作模型收敛。声音也能帮视频生成，听到「咔」一声，就知道接触发生在哪一帧。文字描述越详尽，视频越容易生成好，因为可能性空间被压缩了。

有没有 secret sauce？他说没有，做大模型就是严格做实验，假设、验证、积累知识，再做下一个实验。双塔设计是现阶段的合理选择，客户可以分开做后训练，改生成分布的时候不影响理解那一侧。他自己觉得还不够优雅，下一步的目标是一个塔，但要先考虑客户用起来方不方便。

Cosmos 3 从 2025 年 10 月开始做，做了半年多。他满意的是当初承诺的事发生了：把所有旧模型合在一起，效果比原来单独的模型都好，很多人当初不相信。遗憾的是时间不够，模型没有完全收敛就得出门，接下来 3.1、3.2 会把没做完的补上。

## 为机器人造一个黑客帝国 2:36:33

刘洺堉在个人主页上写，自己被一个愿景驱动：为机器人构建一个黑客帝国。这句话是个比喻，指向三件事。

更好的数据。真实世界采集到的数据就那么多，能不能生成一些需要但没采到的数据。

更好的起点。一个理解世界怎么运作、能预测未来的世界模型，它的表征可以作为策略模型的骨干，从这里出发更容易泛化。

更好的环境。机器人在真实世界里学习，成本高、速度慢。如果能同时生成多个逼真环境，让它反复交互，学习会快得多。三件事里，第三件最难，也还没真正发生。

世界模型这个词现在很模糊，跟几年前的 AGI 一样，各有各的定义。刘洺堉的划分很实用：有人做世界模型是为了预测，有人是为了理解，有人是为了重建三维世界。用途不同，模型形态就不同。Cosmos 把自己定位成 world foundation model，一个基座，让想做世界模型的公司不必从零开始。

英伟达同时投资了杨立昆的 AMI Labs 和谢赛宁的 World Labs，路线各不相同。刘洺堉说英伟达希望生态里的公司都成功，这几家有资金，其他公司可能更需要直接借用 Cosmos。

物理 AI 的 ChatGPT moment 什么时候来？他先区分了两个概念。GPT moment 证明模型可以 scale，scale 之后能力更强。ChatGPT moment 是普通人清楚看到这项技术会怎样改变生活。物理 AI 的对应时刻，是大家看到一个由 AI 驱动的物理应用真的有用。

他给不出时间，但说各项条件在收敛：资金在流入，公司在成立，技术在进步。他希望是今年或明年。

人形机器人会不会成为主流？他的观察是，人类世界是为人手设计的，大部分工具适合人手操作，人手数据也最容易采集，所以大家往这个方向走。但成本是最终变量，轮式底盘加半身人形也能解决很多问题。他提到 DeepMind 谭杰的预测，2035 到 2036 年可能是拐点，他希望早一点。

内部会讨论什么是下一个 CUDA。他的答案不是某一个模型。CUDA 当年把应用逻辑翻译成 GPU 运算，未来的软件以 AI 为核心，AI 叠在 AI 之上，NeMo 和 Cosmos 都可能是下一个 CUDA 的一部分。**更可能是很多层 stack 合在一起，单一的模型撑不起这个位置。**

## Mission is the boss 2:47:04

加入英伟达十年，刘洺堉见公司从「没人把英伟达和 AI 联系起来」，变成「全世界都把英伟达和 AI 联系起来」。刚开始父母不知道这家公司，现在所有人都知道。

中间并不顺。TPU 刚出来那年，股价掉了一大截，有些同事对公司未来产生怀疑，离职了。后来英伟达每年在 MLPerf 上击败 TPU，做出更好的性价比，最后只剩下英伟达参赛。

他形容黄仁勋是六边形战士。开会时能钻到寄存器、计算机架构这种极细的细节，转头又能讲市场营销、产品定价、客户关系，面面俱到。学习能力极强，当初不懂图形学敢做 GPU，不懂深度学习敢 all in。决策靠第一性原理，把事情本质理清楚，不被外界信号干扰。

黄仁勋每天读大量邮件，强迫自己快速判断什么重要、什么不重要。刘洺堉说这像计算机科学里最重要的美德：懒惰。不用算的别算，能晚点算的晚点算，可以直接忽略的就忽略。人生时间有限，知道什么不该算，效率就上来了。

有一句话他记了很多年。一次会上比较两个方案，刘洺堉说自己这边的 setting 不公平，所以表现落后。黄仁勋回他：

> Are you a crybaby？这世界上没有什么是公平的。

他后来说，从那以后不再找理由。写论文时可以讲 setting 不同不能比较，但要解决一个问题，就得去拿到解决这个问题所需要的条件。

英伟达不裁员，没有末位淘汰。疫情那几年经济不好，很多公司裁员，英伟达开会讨论的是砍掉出差、砍掉一个云服务、考虑要不要停掉 Slack。刘洺堉说，他在英伟达期间没听过裁员的消息。优点是员工敢讲真话，愿意合作，有安全感；缺点是技术转型时，员工需要时间学新东西，比直接裁掉再招一批会的人要慢。

还有 top five email。每个员工要写给很多人，讲自己最重要的五件事。公司大了，两个团队做一模一样的东西，从这些邮件里自然能看出来。信息透明是英伟达刻意维持的，跟苹果那种保密文化正好相反。

黄仁勋常讲 mission is the boss。

> 不是你的老板是你的老板，是 mission 是你的老板。

公司像一个有机体，没有硬框架。方向确定之后，有相关技能的人会自己靠过来。Cosmos 就是这样长起来的，很多人不向刘洺堉汇报，也在为它做事。

「Torture you to greatness」，黄仁勋用这种方式带人。批评里带着鼓励，目标是让每个人变得更好。刘洺堉说，愿意花时间折磨别人不容易，那要消耗自己的精力。

黄仁勋每天说公司只剩 30 天现金流，30 天后就要破产。这是提醒自己做出对公司最正确的决定。

## 模型竞争不是鱿鱼游戏 3:12:20

刘洺堉的竞争观，跟他练武有关。学武术的目标不是打架，一开始是受金庸小说影响，学了之后发现是对自己的磨练。控制全身，把力量传导到位，需要反复练习、反复自我修正。他说自己并不是为了展现强大的破坏能力。

这套逻辑放到公司上，就是不做存量竞争，去造市场。

> 什么叫战争呢？我没有打算把别人杀死。

「我们的心态是怎么去造市场。现在家家户户都没有机器人，如果有了，我家可能买两三个，每个机器人都需要算力。这件事发生，对英伟达是巨大的好处。」

他判断模型能力会慢慢收敛。这个判断有争议，前沿实验室相信智能还会高速提升。他的依据是历史：从来没有一家公司掌握所有科技，其他公司都追不上，这从来没发生过。人员会流动，know-how 会扩散，AI 不会是例外。

模型能力趋同之后，竞争靠整合，靠生态，靠跟自家产品的结合。大公司如此，创业公司要找大公司没法解的痛点。他举 Anthropic 的例子：早期被认为落后 OpenAI，但它最早相信 coding，集中投资，做出了东西。OpenAI 那时候是分散投资，把鸡蛋放在不同篮子里。

同质化竞争很辛苦。他理解很多公司做 coding agent 是被迫的，核心技术不能掌握在别人手里，但最终还是要差异化。

每家创业公司都要训自己的大模型吗？他反问：每家公司都要建自己的电厂吗？早期电厂不充裕，盖一个可以保证工厂 24 小时运转；现在这个时代可能不需要了。有决心、有资源，可以做，但没有必要。

他看好中国这批模型公司。DeepSeek、千问、豆包、MiniMax、Kimi、智谱、小米 MiMo，他一个个数过去。让他印象深的一点是，中国公司招很多实习生，把 know-how 传出去；美国的前沿实验室现在很少招实习生，很多结果只留在内部。他觉得这对整个领域的知识扩散是好事。

中国机器人公司的优势在软硬整合。美国做本体的公司少，特斯拉和 Figure 之外不多；中国有强大的制造业，可以做快速的硬件迭代，垂直整合会带来什么突破，他觉得值得关注。

数据是物理 AI 的难点。每个机器人形体不同，没有对应的物理设置就采不到数据。Cosmos 挑最容易共通的两类：导航数据，从 A 到 B 的位移和旋转；操作数据，手或工具怎么完成目标。他们发现一个趋势，大家越来越追求接近人手的机械臂。原因有两个：人类世界是为人手设计的，工具适合人手；人手数据也最容易采集。所以 Cosmos 3 特意加入了第一人称视角的数据，人眼怎么看、人手怎么操作。

评估世界模型，他讲了三步：固定数据集跑 benchmark；A 和 B 对比的 arena；跟真正有痛点的人一起解问题。物理 AI 里第三步特别重要，因为每个客户要解的问题都不一样。

访谈快结束时，张小珺问他，如果五年后再来采访，希望 Cosmos 发展到什么阶段。他说希望那时候能清楚讲出物理 AI 的 ChatGPT moment 是哪一天、在哪里发生的。

问他希望别人怎么记录他，他说不要讲我，讲 Cosmos。希望 Cosmos 是重要的推手，帮助几家物理 AI 的 builder 到达那个时刻。

给年轻研究员的建议只有四个字：

> 不要紧张。

他解释，年轻人总担心明年 AI 是不是就结束了，会不会自己路越走越窄。冷静下来，看清楚什么地方值得投入精力，对自己有信心。

这期访谈里最值得带走的，大概是三个判断。第一，模型能力会收敛，靠模型本身建立不了长期壁垒，生态和整合才是。第二，迭代速度比单点聪明更重要，有好数据、好基础设施、严格的实验纪律，算法会自己变好。第三，找一个能产生最大贡献的问题，而不是找一场能打赢的战争。刘洺堉盯着的那个问题是泛化：机器人看人做一两次，就能在新场景里学会类似的操作。这件事什么时候发生，决定了物理 AI 的拐点什么时候到。