# 和蚂蚁灵波沈宇军聊：机器人原生基础模型、大脑和本体的关系、预训练与数据scale up、老师汤晓鸥

> 张小珺商业访谈录 No. 147 精读

- 发布日期：2026-07-22
- 主持：张小珺
- 原节目：https://www.xiaoyuzhoufm.com/episode/6a5f79b3a3fec224d5a128cd
- 网页版：https://zhangxiaojun.qiaomu.ai/ep/6a5f79b3a3fec224d5a128cd.html
- 精读字数：约 6648 字（阅读约 15 分钟）

> 本文为 zhangxiaojun.qiaomu.ai 基于节目转写的 AI 整理精读，不是逐字稿；引用请注明出处并链接网页版。

2026年7月，蚂蚁灵波开源了第二代具身基础模型，一次放出六个。这家公司2024年底才成立，团队最初不到十个人。首席科学家沈宇军清华读本科，在商汤实习过，港中文跟汤晓鸥读博，毕业后去字节做抖音特效，2022年进蚂蚁技术研究院。

一个反直觉的现象：过去硅谷机器人团队更专注大脑，中国团队更专注硬件和本体。2026年，中国出现一批从大脑出发的机器人公司，灵波是其中之一。张小珺刚访完Physical Intelligence的柯丽一鸣，这期把话筒递给本土团队，聊怎么从预训练开始训一个机器人模型、瓶颈在哪、机器人的GPT-1时刻还有多远。

沈宇军说话直接，承认自己刚做机器人时“太天真”，承认公司还没到GPT-1时刻，也承认创业就是赌。他给机器人设计的性格是“J人，好干活”。

## 从打榜不感兴趣，到把GAN训到画句号 02:03

沈宇军在清华读大三时，商汤刚在清华东门成立，他去实习，一路干到大学毕业。之后去港中文跟汤晓鸥读书。刚去时迷茫，不知道自己喜欢做什么。港中文擅长检测、分割、分类，拿了很多冠军，他对打榜看数字不感兴趣。

2017年生成模型火起来，他转向GAN。能做出一张图给人看，还能做简单编辑，他觉得有意思。从图像编辑做到预训练，再往前做到表征学习。越往前越发现，GAN训到一定程度不受控制，那时候还没有堆参数量的说法，也不知道怎么让模型更好。

GAN能不能scale up？今年年初团队还做了最后一次尝试，release了一个GAN模型。跟diffusion比，某些地方没那么好，但比前几年技术进步不少。最大问题是计算量利用效率太低，diffusion可以迭代很多次生成一张图，GAN不行。复杂内容尤其是视频生成，GAN不一定是最好的选择。把技术沉淀下来release给公众，算是画上句号。对抗本身的技术，两个模型互相迭代博弈，以后在别的场景还有用。

博士毕业先去字节，做抖音特效。男生变女生、变老变年轻、看二十年后长什么样、两个人之间连贯转换，读书时的工作带火了一些玩法。待了一年多，每天想创意，希望特效变爆款。2022年蚂蚁技术研究院招人，他过去了。年底ChatGPT出来，震撼了一波。

在研究院，他开始怀疑研究的价值。发论文、拿引用量，是不是就代表成功？往小了说对学术圈，往大了说对行业，到底带来什么？心里不清楚。

## 视觉的用武之地，和一家子公司的成立 09:00

计算机视觉过去十几年有两波大应用：人脸识别，特斯拉带火的纯视觉自动驾驶。除此之外，大规模用起来、有强产业价值的视觉应用不多。沈宇军感觉视觉在数字世界用武之地不够，物理世界离开视觉机器人没法工作，是强依赖。2024年他想做机器人。

蚂蚁做数字世界生活服务，金融之外还有医疗、出行。集团层面判断，数字世界服务再往前延伸，要往物理世界迁移。2024年底蚂蚁宣布成立子公司蚂蚁灵波。沈宇军在研究院向院长提了做具身智能，不谋而合。

为什么成立公司，不放在研究院？他的理解是，如果当研究机构做，很容易脱离行业。研究员认为的先进技术，跟行业需要的先进技术之间有gap。既然要干，就变成真实业务来干。

三个组织给他不同感受。字节是做业务，用AI技术给产品做特效。研究院赶上大模型爆发，受冲击，也迷茫。灵波是两者的结合：做不一样的事，又直面真实需求。技术还没收敛，作为技术人能探索，哪怕探索一条不正确的路也是贡献。

刚来灵波，两个感受。第一，太天真。2014年就提议做机器人，真开始做发现机器人赛道有太多不了解的东西。模型用到机器人上怎么部署、怎么调通信，太多技术栈超出原来的认知。第二，团队从不到十人一点点壮大，一边学习一边跟着行业变化。

## 不做本体，先做大脑，再把视觉重做一遍 16:04

创立之初明确一件事：做机器人的大脑。不做本体，因为最终希望每家都有一个机器人，机器人不一定同一品牌，像手机一样五花八门，但希望里面跑的是灵波的大脑。本体还没定型，先坚定沿大脑这条路趟扎实。也会做末端执行器。

通用意味着跨本体、跨任务、跨场景。沈宇军坚持本体和场景不能完全解耦，什么样的本体适合什么样的场景，从产品定义最开始就决定了。大家讲通用更多停留在任务和场景，灵波把硬件也考虑进去，本体上也要通用。

团队两手抓：一手看智能上限在哪，一手抓真实场景应用。模型还很早期，有十个八个迭代方向，精力有限，不能全面开花。哪个特点先开发，由行业和真实场景决定。外滩大会炒菜demo，长程任务，暴露了很多软硬件问题。想拓展新场景，复制成本太高，更坚定把大脑做实。

25年和26年两个大决定。25年3月，团队意识到机器人要动，跟环境交互，动态建模、时序建模至关重要。当时还没有WAM（视觉动作模型）这个概念，他们坚定认为机器人要从视频里学，而且不能抽帧当图像看，要学持续的东西。做了9个月，26年初开源视觉动作模型VA，应该是行业最早。

25年另一个决定：从真实传感器出发。学术界数据集干净，噪声很少。机器人要在现实世界跑，传感器噪声没法忽略。他们从传感器维度做起，包括视觉和触觉，也就是空间智能。

26年的决定更彻底。第一代模型很多是在数字世界模型上嫁接一个动作，当agent用。做着做着发现，数字世界模型开发的初衷跟物理世界需求不匹配。视频生成希望画质特别高，机器人动作不需要那么高画质。又没法push数字世界团队改模型，他们有自己的一套逻辑和应用场景。既然不能push，就全部基于物理世界需求重做一遍。语言模型继续用，视觉相关的从头训。

## 六个模型，一条从感知到动作的流水线 28:38

今年1月开源第一代四个模型：Depth、Video、World、VLA。Depth从传感器出发，让机器人对距离有更好认知；Video和World，一个当仿真器，一个当执行器；VLA是行业主流路线，在场景里把活干好。训练周期不同，视频动作模型花了大半年，Depth三四个月。第一代支持9种构型，做简单抓取，桌面上操作。

真实场景暴露了实验室的gap。实验室demo大多在桌面上，机器人站着不动，甚至只有两条手臂。真实场景里，机器人要去架子上拿东西，要抬手。头到底要不要看手抬的地方？视角不一样，头抬了也可能看不到。头部相机失效时，能不能只用腕部相机或其他传感器把事做了？第一版模型只支持手臂自由度和夹爪，没有头、腰、底盘。2.0升级到20多种构型，自由度带头、腰、底盘、灵巧手。

预训练用3B模型，数据6万小时。第一代2万小时，清洗管线变严后只剩1万多，这一代相当于上一版四倍。数据来源是真机和EGO（人戴相机采集），仿真只用于评测。仿真数据量可以很大，但分布同质化严重，物理引擎对柔性物体还需要迭代。真机数据成本过去两年降了三倍不止，人员管理成熟、机器成熟、数据量产。

准备数据的核心knowhow有两个。第一，下发什么任务。任务要尽可能覆盖所有自由度，保持均衡。头部自由度出现的比例远高于腰部，模型就更倾向于学头，不太会动腰。第二，数据拿到后怎么清洗。跨本体模型，每家本体相机位置不同、关节连接方式不同，数据处理方式跟本体强相关，没法用一套管线处理所有本体。

通用性好的任务，操作越简单越通用。复杂任务能完整丝滑做出来的素材员少，动作不丝滑的数据修不了，成本极高。模型会以为不丝滑是正确操作方式，控制机器人时也卡。错误数据纠正也是好数据，人在旁边看着，犯错时打断，给正确示范。为了进场景提高成功率，内部也加真机强化，这部分没写进开源技术报告。

六个模型的关系，沈宇军觉得这次做得比较好。第一天发布Vision和Depth。1.0的Depth基于DINOv2做预训练，DINOv2擅长语义理解。语义理解跟空间理解、距离理解不天然吻合。数字世界知道那是花、那是狗就够了，物理世界还要知道距离。灵波重新做预训练，完全从几何角度出发，从边缘、点线面让模型理解几何。新的Vision基模替代DINOv2，Depth基于新基模和更多数据迭代。

效果例子：厨房里反光的水龙头打开，Depth能清晰看到水流。接水任务，机器人必须先看到水流在哪。以前的Depth知道水流开了，距离不准。另一个例子：阳台玻璃门外面有只猫，新的Depth完全看不到猫，因为前面挡着玻璃。人往前走会先撞玻璃，再看到猫。拉开玻璃门，猫逐渐从门后出现。语义理解里猫一直在，物理世界还要知道前面有门。

> 能看到是语义理解，摸不到是空间感知。

VLA 2.0解决数据问题。从产业视角把真实场景需要的数据弄明白。Video、World、VA 2.0三个模型放在一起说。数字世界视频生成先做视觉压缩，为了画质，压缩本身对后面学习没帮助。灵波在压缩时加入语义和动作对齐，编码器在编码过程中感知语义和动作信息，后面学生成时理解得更好。数字世界不关心效率，生成30秒视频用户可以等。机器人执行必须实时。所以模型要快，要单向建模，历史看不到未来。画质可以舍弃，生成得有点马赛克没关系，还有摄像头。

Video是原生MOE架构。MOE训练难，要让参数均衡激活。30个参数每次只激活10个，另外20个基本不被激活，跟10个参数的dense模型没区别。要稀疏得均匀，靠loss function、sampling策略、正则化。光训MOE花了两个月，失败几十次。World证明单向attention训练能搞定。双向变单向会知识遗忘，预训练作废。之前100句话每句都能转成好视频，强行变单向后只有20%到30%能转，其他70句不理解。果断舍弃双向变单向，从头单向训练，花了三四个月。

VA 2.0把技术揉在一起：MOE、单向预训练、改进的压缩编码器，加上VLA积累的真机数据，从随机初始化开始训，面向机器人控制的原生基模。沈宇军说，这就是他讲的“具身原生”。

## 数据没有scale up，是最大卡点 1:07:31

具身智能到GPT-1时刻了吗？沈宇军的判断是还没到。原因是没有看到好的数据scale up方式。这次6万小时，比上一代没有数量级提升，远远不够。互联网数据跟机器人数据差两个数量级。大语言模型能scale up，因为互联网数据已经ready。灵波架构上做到具身原生，数据上还没有。当具身数据能scale up，至少跟互联网数据同量级，才是他心目中的GPT-1时刻。

具体时间不好预估。好处是基建上来了，模型开发周期跟GPT-1时代不一样。那时候万卡集群很了不起，现在美国很多公司做语言模型十万卡甚至更多。配套工具成熟，从机器人GPT-1到机器人ChatGPT，不一定需要原来那么长时间。

行业哪里不及预期？数据。大家喊缺数据，但真实情况是，如果不做基础模型，不需要那么多数据。没有原生基模，就没有推动力马上拿到大量数据。他估计百万小时起步，模型里具身数据和互联网数据相对平衡，既能学通用知识，又能学操作知识。百万小时之前会先有十万小时，完全拿来做具身原生预训练。

真机数据成本在降，仿真在特定任务上仍然有用。不同公司策略不同，如果场景适合仿真，从仿真拿数据没问题。灵波要做通用大脑，跨本体跨任务跨场景，希望支持的任务越多越复杂，仿真覆盖率不够，所以更多从真机出发。

数据规模化，EGO提出了一个好理念，只靠头部相机拍的数据能不能用，对灵巧手精细化动作有没有帮助，还是未知。理念要打磨成产品才能部署采集。质量和数量要平衡，模型希望质量越高、模态越多越好，规模化又要求不能太定制。哪些东西可以舍弃，还没定义清楚。定义清楚了，后面会加速。

## 大脑和本体交替上升 1:23:10

2026年出现一批只做大脑不做本体的公司。沈宇军的解释：本体很难通用。不通用就要选准场景，为本体做强化和减配。真实场景应用要讲成本，六边形战士做具体任务，很多东西超配，成本上升。本体有门槛，有没有量产能力是一个点；场景选不准，本体设计一定有问题。现在大家不太敢说哪个场景一定跑得非常好。

另一个原因：大脑落后于本体。今年的主要矛盾是怎么让机器人把活干好。去年还有机器人公司创始人说干活是一片荒漠。做大脑的人多起来，智能层会跑得更快，某一天超过本体，对本体的要求会变。那时候会出现由智能重新定义的本体公司，本体设计不再看传统参数，而是为了方便模型控制。然后本体又变强，智能又显得不足。两者交替上升。

下一代硬件不一定能适应下一代模型。硬件本身还好，传感器要升级，尤其是触觉。过去传感器讲指标，精度多少、频率多少。做传感器的人希望指标都好，但一定要取舍。以前下意识觉得力必须准。AI时代模型最需要的可能是反应够快，对实时性要求更高。传感器迭代要从模型需求出发，强化某些指标，弱化某些指标。

接下来的模型迭代，从架构原生再往前走到数据原生。这一代解决了位置泛化，接下来要做任务泛化，任务泛化严重吃数据。更优雅的素材方式，拿到更多好数据，把数据更好送给模型，是下一版的核心。数据采集标准要更扎实：采什么数据、怎么采、能不能规模化复制。

## 创业是赌出来的，老师汤晓鸥 1:31:48

沈宇军说这是两个第一次：第一次面向真实场景应用，第一次创业。以前更关注技术领先性，现在关注哪种领先有价值。技术还是要领先，但要问是不是有价值的领先，还是技术人拍脑袋觉得领先。他现在希望支持的任务越多越好，优先场景和任务泛化。

> 创业一定是赌出来的。

没有人知道哪条路一定成功，资源一定有限。有限资源、路径不确定，就要赌。敢做决定、敢赌很关键。如果一条路大家都知道成功，大厂一定成功，资源多人多。路径未知时犹豫不决，什么都做不出来。

两个大赌：传感器，原生。原生风险很大，训了一年花了很多资源，模型可能就是不收敛。可能思路错了，可能技术不成熟，早两年晚两年结果不同，也可能资源不够。只能做100块钱的事，非要做200块钱的事，资源不够。做成了，成就感高。

蚂蚁的管理偏创业公司，业务独立，基建共享。集团对灵波有信任和尊重，会有debate，比如为什么不做本体，但几轮交流后能达成一致。蚂蚁AI first，包含数字世界AI和物理世界AI，灵波承载物理世界人工智能的使命。蚂蚁做数字生活服务，灵波补齐从数字世界往物理世界迁移的执行环节。

> 我真的看到机器人进家庭了，然后进家庭的机器人跑的是凌波的模型。

这是沈宇军最好的预期。最坏的预期：没做出来，某一次赌错了。力排众议坚持的事：具身原生。发完1.0就意识到数字世界那条路走不通，不想在数字世界模型的延长线上做，坚持从物理世界土生土长做模型。这次模型进展高于预期，看得更清楚、想得更明白都往前推了一步，希望数据原生早点来。

竞争格局，沈宇军觉得跟大语言模型差不多：大厂一两个玩家，创业公司两三个，各自跑出生态，包括数据生态、本体生态、场景生态。模型会因为生态分化，有的适合精巧任务，有的适合长程任务。最后大家都会走向通用生态，进家庭。

对人性机器人没有执念。现阶段核心问题是智能不够，智能不够的核心是数据不够。轮式还是足式不是核心卡点。智能有了才能做真实场景尝试，产品迭代，硬件迭代。现在让机器人进家庭，连user study都没法做。

> 我希望它是个J人，它好干活。

这是沈宇军给机器人设计的性格。实用优先，情绪价值由人提供。

汤晓鸥给他的印象：幽默，东北人，讲话亲切；能快速从混沌中抓到主要矛盾。毕业答辩时，别人问怎么做，汤老师问了一个跟行业相关的问题：这东西到底应该怎么用。上一代AI最大的痛就是不好应用，没有好场景。

现在也有人问灵波模型怎么用。具身智能不像大语言模型好传播，离生活远，必须有机械臂才能知道好不好用，更多是面向开发者。发布的基本都是预训练，预训练要进场景还要后训练，后训练很难。效果不好，是没训好、数据没采好、还是模型不好？诊断问题再解决，很难。开发者会问怎么复现、想做什么事该做哪些步骤。

他希望机器人离大众更近，像语言模型一样出个app每个人都能体验。现在跟爸妈讲做了什么，他们听不懂，没有体感。有一天能带个东西直接给他们，告诉他们这是我做的，成就感完全不是一个量级。

快问快答：喜欢日料；人生之书《笑傲江湖》，喜欢令狐冲的豁达；影响机器人进程的工作，Generalist的博客、Pi、Google DeepMind；中国有硬件优势和数据优势，灵波有数据联盟，跟合作伙伴一起把数据做得更好。

沈宇军给了一个清晰的判断链：智能不够，智能不够的核心是数据不够，数据不够的核心是没有规模化的采集方式。关注这个行业的人，接下来一年值得盯的，是谁先把数据采集做成可复制的产品，谁先把具身数据的量级从十万小时推到百万小时。GPT-1时刻的标志，大概率落在数据管线上，不在某个demo上。