对DeepMind谭捷的访谈：机器人、跨本体、世界模型、Gemini Robotics 1.5和Google

Google DeepMind机器人团队的高级研究科学家兼技术负责人谭捷，9年前加入时团队大约10个人，现在约150人。他提到Gemini Robotics 1.5论文的作者名单有160到180人，自己一周工作70到80个小时。

谭捷本科和硕士在上海交大，博士读计算机图形学，在Pixar实习过，也待过光场相机公司Lytro。2015年他找教职没拿到理想位置，转入Google Brain，第一篇论文把sim-to-real和强化学习用到四足机器人步态上。

这期节目里，张小珺把中美机器人两种叙事摆到台面上：中国硬件快，美国机器人大脑强。谭捷从Google DeepMind的视角聊Gemini Robotics 1.5、数据荒、跨本体迁移、世界模型、触觉、人形机器人，也聊Google从松散实验室变成集团军的过程。

从图形学到机器人：先让仿真里的机器人跑起来 0:02:00

谭捷小时候爱打游戏，博士做的是物理角色动画。Pixar做动画坚持手调，他研究的是用数学和物理方法，让人的形态或动物形态在仿真环境里自然行走。

读到第三、第四年，他越来越多用AI解决动画问题，觉得这套东西和机器人太像了。他跟导师说，想用图形学的方法变革机器人行业。

2015年他去美国找教职，面试了不少好学校，没拿到想要的位置，于是进硅谷工作。图形学和机器人有一个天然交集：仿真里能拿到关节力矩、接触状态等完整信息，真实世界拿不到。伯克利的Sergey Levine也从图形学转到机器人，这类转向并不少见。

机器人就是在真实世界里做图形学，图形学是在 simulation 里做机器人。

以前的机器人控制靠MPC这类传统方法，建物理模型，再做优化算轨迹，门槛高到需要博士才能把数学搞明白。仿真里的机器人已经能翻跟头、跑步，真实世界的机器人还在过坡、拧阀门时摔跤。两边差距摆在那里。

波士顿动力的机器狗和Atlas跑酷很厉害，学术界却不知道怎么做。后来大家发现，MPC被做到了极致。再往后五年，跑跳、打拳、跳舞、上墙翻跟头变得常见，背后是强化学习加sim-to-real。

谭捷在Google的第一篇论文《Sim-to-Real: Learning Agile Locomotion For Quadruped Robots》，把强化学习和sim-to-real用在足式机器人上。他用的方法来自AlphaGo之后的PPO，当时大语言模型还没出现。

过去十年机器人领域有两次范式变化，一次是强化学习，一次是大语言模型。强化学习像小脑，管平衡、走路、双手控制；大语言模型像大脑，给机器人语言接口和常识。

以前让机器人做杯咖啡，得编程，机器人也不懂步骤。大模型出现后，人可以自然语言下指令，模型还能把做咖啡拆成一步步计划。大脑和小脑都需要，机器人才能做复杂事情。

机器人基座模型还没有独立成一门学科 0:13:06

张小珺在云栖大会具身智能分场听到一种强烈观点：机器人基座模型是独立方向，不该被看作大模型的延伸。她把这个问题抛给谭捷。

谭捷说，这事没有对错，大家视角不同。最近几年机器人智能的发展，主要依赖多模态大模型。多模态模型能输入图像和语言，输出文本，缺的是机器人动作输出。

他做的很多工作，是补全多模态模型，让它能输出动作、控制机器人。机器人基座模型是不是独立学科，他的回答很直接：“So far, not yet”。

未来遇到数据格式、世界模型等瓶颈时，它可能变成更独立的学科。现在绝大多数VLA工作，仍是在大语言模型或多模态模型上做微调，采集更多机器人数据，再分阶段训练。

机器人基座模型目前仍寄生在多模态大模型上，缺的是动作输出。这个判断和创业公司的叙事不一样。创业公司没有自己的大模型底座，更愿意强调独立性；DeepMind在Gemini之上做机器人，感受自然不同。

过去一年进展快，变量有几个。Veo、Gemini、GPT这类模型在进步；thinking model能在推理时用更多token预算提高答案质量；硅谷所有公司都投巨资做机器人大模型，CEO重视后资源和算力跟着涨；硅谷也卷起来了，做AI和机器人的人经常996。

谭捷给的时间线分两段。现在有足够sign of life，说明scale up现有训练配方可能work，但还要两到三年到GPT-3、GPT-4水平，再要五到十年真正进入产业。

研究到prototype很快，六个月到一年能写论文。论文到敢做live demo，可能一两年，因为论文里有很多假设，只在小范围工作。live demo到商用，可能不到十年。自动驾驶从DARPA挑战赛到Waymo、Tesla在有限区域运营，隔了十年，不算夸张。

成功率是冷水。简单抓放能到九成以上，拉链这类精细操作只有三到四成。现在简单抓放能到九成，拉链这类精细操作只有三四成，离真实使用很远。

专用路线和通用路线都可能。谭捷的判断是，大佬愿景、资本、人才会把通用路线推成现实。语言模型的历史也证明，generalist model一旦成立，specialist model很难竞争。

数据荒：金字塔、遥操成本与生成式仿真 0:23:44

谭捷说，机器人最大的问题还是数据。语言模型的数据是免费的，网上有大量文本、代码、书本。机器人处在非结构化环境里，什么事都可能发生，需要极大量、非常diverse的数据，这些数据现在不存在。

硅谷出现了一批data factory，用遥操、仿真等方式采数据，再卖给大厂。机器人领域常讲数据金字塔。

• 底层是互联网上可规模化获取的数据，量大，和机器人形态差距也大。
• 往上是人类视角视频，戴眼镜或相机就能采，YouTube上很多，但人和机器人形态不同。
• 再往上是仿真数据，和机器人形态更近，有动作标注，也有sim-to-real gap。
• 顶层是特定机器人的真机数据，通过遥操等方式获得，质量高，成本也高。

数据金字塔每一层都重要，预训练要物理直觉，后训练要高质量真机数据。预训练阶段，模型需要学会对物理的理解，不一定要懂某个夹爪构型；后训练阶段，才需要这个机器人、这个任务、这个构型的精细数据。

遥操数据很难获取。王鹤算过一笔账：一台人形机器人制造成本至少10万元，1万台就是10亿元，两班倒还要雇人遥操，再加标注、质检、维护，每月成本数亿到十亿。谭捷没有细算数字，但同意这个方向不scaleable。

他判断，靠完全遥操数据解决机器人问题，可能性非常低。真实数据没有sim-to-real gap，但泛化性由数据coverage决定，不由真实或虚拟的标签决定。没采过厨房烧饭数据，模型就很难会烧饭。

泛化性由数据覆盖决定，真实数据和虚拟数据都要看覆盖。仿真数据不够真实，可以生成极大量数据，用算力换精度，从平均意义上覆盖真实世界物理。

仿真定义也在变。以前是物理仿真，在计算机里解物理方程、算运动轨迹。现在Veo、Sora 2这类视频生成模型兴起，生成一段物理上看起来正确的视频，也算一种新仿真。谭捷认为，不远的将来，传统物理仿真会慢慢被生成式模型仿真取代。

生成式仿真有幻觉，也有非物理现象。做体操的人翻着翻着多出几条腿，这类问题很常见。它也有经济性争议，生成视频要算力。优势在场景生成：传统仿真要建模、摆资产，500个家庭场景得一个个手建；生成式仿真只要500个不同prompt。

数据质量没有标准平台。data factory采了很多数据，模型厂无法告诉他好不好；效果不好，双方容易扯皮。节目里也提到一种声音：数据讨论太多，架构创新被忽略。谭捷回应，架构创新重要，但巧妇难为无米之炊，数据量和coverage不够，方法能力肯定不行。

数据、数据、数据。

Gemini Robotics 1.5：thinking、跨本体和motion transfer 0:27:52

Gemini Robotics 1.5有两个重要发现。第一个是把thinking加入VLA模型。以前的VLA输入图像和语言任务，输出马达角度，直接控制机器人。

新模型把机器人怎么想也作为输出。比如把衣服按颜色分类，机器人先想这件是红色，扔到红色那堆；那件是白色，扔到白色那堆。它先输出文本，再输出action，再输出文本，再输出action，多步任务被拆开。

这带来两个好处。复杂多步任务现在能做；机器人能向人表达下一步想干什么、为什么这么干，人机交互更透明，安全性也更好。

大模型的thinking可以想20秒，机器人不行。机器人每0.5秒到1秒就要动作，thinking预算短很多。Gemini Robotics 1.5做了快慢模型划分：ER是embodied reasoning，做慢思考，能搜Google Search、日历、天气，做长规划；VLA是快思考，负责执行。

快慢模型是过渡方案，算力足够后，unified model会更优。两个模型用语言交流，语言带宽低，会丢信息。一个模型内部完成推理和动作，没有额外接口，信息损失更小。现在受算力和模型大小限制，只能先分开。

第二个突破是cross-embodiment transfer。机器人数据稀缺，机器人A采的数据只能学A。A升级后换了相机位置，手臂多一个自由度，旧数据可能就没用了。人形、机械臂、不同构型的数据也不能直接混用。

Gemini Robotics 1.5测了三个双臂机器人：ALOHA是桌面双臂机器人，Franka更工业级、更powerful，还有人形机器人。团队把所有数据放在一起，开发了motion transfer，让机器人A见过的任务，机器人B也能执行。

ALOHA的数据几乎都在桌面上，抓东西、开瓶盖、写字，没见过垂直书架。给它一个高低错落的书橱，让它拿下上面一档的书，它做不到，会在桌面上磨蹭。Franka有很多垂直场景数据，从workbench上取工具。把Franka数据加进去，再用motion transfer，ALOHA突然也能做垂直书架任务。

motion transfer把任务层面的经验搬到另一个本体，新机器人零样本直接上手仍做不到。它有一定泛化性，但泛化性是任务层面的，本体层面的泛化还没有解决。

迁移上限受两个因素影响。两个机器人形态差多少，embodiment gap大不大。单臂夹爪迁到双臂人形很难，夹爪迁到五指灵巧手也难。另一个因素是数据量。某个本体数据已经很多，其他本体带来的正向增益就小；人形数据难采，ALOHA数据很多，迁移就很有效。

motion transfer具体怎么做，谭捷说是secret，节目里没有展开。能确定的是，它不靠强化学习，主要靠imitation learning。有榜样、有label，让神经网络输出和label尽量接近。

Gemini Robotics 1.5标题强调把AI agent带入物理世界。谭捷说，机器人就是physical agent，能决策、能行动，还要能用工具。ER模型可以写code、查网站、用Google Map，根据所在地法规决定垃圾怎么分类。

下一步重点还是数据。遥操数据难获取，要减少遥操，更多利用仿真数据、人类视频、YouTube数据、Veo生成的视频数据。真实数据现在成本很高，团队主要还在用真实数据。

架构上，VLA是现在效果最好的模型。语言描述复杂机器人行为时有信息损失，比如转笔时每个手指怎么动，用语言很难表达，用视觉生成下一帧更自然。世界模型就是Vision-Language-Vision，vision和language输入，生成下一帧图像。Veo是视频生成模型，Genie更像世界模型，因为人可以按键改变下一帧。VLA和世界模型可能共存，世界模型补上视觉表达这一层。

触觉、灵巧手与人形机器人的边界 1:08:29

机器人“智”包含大脑和小脑。大脑要有常识、能解决问题、能规划；小脑要敏捷，能用五指做manipulation，能用双足跑跳。模态会增加，触觉、力觉都可能进来，放在大脑端还是小脑端不一定。

谭捷讲了自己对触觉的心路。他一直相信触觉重要，人有皮肤，每天感受世界。斯坦福的ALOHA论文第一次让他看到，人完全通过视觉遥操机器人，从皮包里拿出很薄的信用卡。他以为这种事只有触觉能做，ALOHA打了他的脸。

此后一段时间，他相信视觉就够了，视觉能解决95%的问题，剩下5%才需要触觉。直到灵巧手普及，他去用遥操控制灵巧手拿剪刀。手往两个环里一套，开合，没有触觉反馈，他不知道什么时候开、什么时候关。环很大，不恰当的时间开合，手只是在环里动，剪刀并没有被控制。

夹爪时代视觉能解决95%，灵巧手把触觉变成必需品。以前觉得触觉不重要，受限于当时硬件。夹爪远远看着开合就能判断，五指灵巧手做复杂任务，触觉很难缺席。

马斯克说机器人最终通过看YouTube视频学习任务。谭捷同意前半句，视频数据可扩展，机器人坐在电视机前看Netflix、YouTube学会技能，是他很早就在talk里讲过的愿景。纯视觉解决所有问题，他不同意。通过视觉学习和通过视觉解决问题是两件事。

自动驾驶可以走纯视觉，机器人manipulation更复杂，要和物理世界反复互动，每个人的互动形式还不一样。通用人形机器人有五指灵巧手，要做所有人能做的任务，触觉就必不可少。

硬件还没收敛，未来硬件可能不适配今天的大脑，cross-embodiment因此重要。如果只能押一种形态，谭捷押人形。人形机器人会是主流形态，但不会唯一。

如果目标是physical world里的AGI，他会非常聚焦最终形态、最终模型，其他东西可能是distraction。创业公司很难这样，资本要生存、要盈利，只能先找短期商用场景，把数据飞轮转起来。

Waymo和Tesla是两条路。Waymo直接奔L4，把驾驶员从车里拿走；Tesla卖车，从L2、L2.5往上做，用数据飞轮慢慢逼近L4。谭捷认为两条路没有对错。Waymo把驾驶员拿走，是0到1的突破；Tesla的FSD也很强。

机器人发展可以分阶段：automation，固定规则编程；teleoperation，硬件完善但没大脑，靠遥操；narrow generalist，能做一个垂直领域，比如自动驾驶；generalist，能做家庭里各种事；superhuman，能力和体能超越人类。

specialist的生存空间会被压缩。通用机器人能做的事更多，一个机器人可以做你的任务，还可以做100个其他任务。自动驾驶也是机器人，通用机器人足够通用时，垂直自动驾驶的需求可能被重新定义。

安全不能当儿戏。AI安全和机器人安全都需要专门研究，Google DeepMind有responsibility和safety council审查社会影响与安全后果。谭捷的判断是，机器人能力超越当前AI安全理解时，应该停下能力发展，让安全研究追上来，再齐头并进。

Google的集团军、人才价格与未来十年 1:17:35

Google机器人团队的文化变了很多。谭捷9年前加入时团队10个人，管理松散，每个researcher独当一面，想做什么就做什么，像高薪的PhD或助理教授。自由很多，个人impact有限，很难聚一波人做惊天动地的大事。

现在团队约150人，Gemini Robotics论文名单160到180人。需要有人做infrastructure、data pipeline、training pipeline，有人做research，有人做evaluation，有人做data collection和maintenance。Google从松散实验室转向集团军作战，需要强算力和大团队。

组织方式上下都有。Gemini Robotics更多自上而下，定方向、定timeline，因为资源有限，几百人做实验需要协调。其他research自下而上，researcher紧跟潮流，几个人形成小团队快速迭代，做成了再集成进Gemini Robotics，放大impact。

motion transfer是自下而上长出来的。目标是解决data bottleneck，要train on multiple embodiment data，这是自上而下定的what。具体怎么做，很多小团队试不同方法，三四个团队的想法最后可以像积木一样搭在一起，形成motion transfer。

大公司病仍然存在。采购要过legal、compliance、due diligence，以前在Google从表达意愿到发出purchase order可能超过30个business days。谭捷要跟采购、运营团队合作，告诉他们这个时代等不起。团队有使命感，等30天可能人就跑了，或者别人已经做出来了。

这个时代真的是等不起，不然别人都做出来了。

考核看impact。论文数量、质量、citation是指标；成果集成进产品，产品带来的价值和收益也是指标。Google performance review严格，最底层有need improvement，经理会和你一起做计划，达不到标准会被淘汰。Meta更clear cut，有比例，比例之下可能直接淘汰；Google更耐心一些。

Meta把AI人才价格抬得很高。有供求说，所有大公司都AI first，优质AI人才供给有限；有价值说，算力很贵，花钱招人好好利用算力，创造的价值远大于人的成本；也有挖人比买公司便宜的说法。谭捷不知道一个人是否值1亿美元，但Meta的操作扰动了整个硅谷。package常见是4年，具体case by case。

留人靠使命感。最优质的人才被挖，真正care的不一定是钱，他们相信机器人行业很快会有质变，希望质变发生时自己在driver seat。留人靠使命感和right ship，钱只是其中一部分。

一个有使命感的人，不会容忍说‘I’m on a wrong ship’。

谭捷经常能留住人，也有失败。华人比例在变化。他加入Google时好像是唯一的华人，现在团队50%到60%是华人。AI有很多数学，华人数学好，又talent又能吃苦，容易出成绩。印度人在美国高层比例更高，表达能力更好，英语是母语，教育环境更强调speak up，西方文化里这一点很重要。谭捷判断华人在硅谷大公司的位置会越来越重要。

他讲了一个小故事。一个美国白人PhD在考虑签不签团队，跟他说希望团队多招华人，因为和华人合作做AI、做机器人非常努力、非常productive。这人还学了一个词叫牛马，说自己特别喜欢做牛马，可能把牛马理解成了刻苦努力的象征。

未来时间线，谭捷给了三段。两到三年，会出现机器人GPT时刻，人们真实意识到general robots coming，更多钱进入具身智能。五年内，有泛化能力的机器人会更快进入产业，先在制造、物流、超市等传统领域发挥作用，不再是一成不变的自动化动作。十年长度，机器人开始广泛进入家庭。

中国硬件发展很快，宇树、智元、星海图等公司像雨后春笋，为全世界提供便宜又优质的机器人硬件。AI发展也快。谭捷听到的差异在环境和耐心：硅谷愿意在没有初期结果时相信一个东西，投时间、精力、钱，能投十年；国内更追求短期目标，要尽快商用、盈利、看到快速发展，否则难获得重视和资源。

大模型时代需要很多钱才能看到结果。机器人要几万小时数据才能验证scaling law，几百小时数据不够。有些企业家、投资人希望先给一点钱，采十几个小时数据，看结果不错再追加，初期钱远远不够。技术上需要信仰。马斯克做很多事时绝大多数人不信，但他做成了，硅谷愿意相信ambitious、看上去不着边际的信仰，也促成了快速发展。

中美合作在机器人领域很重要。智能可能在美国发展更快，供应链、硬件制造、本体、部分控制在中国做得相当好。更好的合作对全人类都是重要里程碑。

泡沫可能存在，取决于机器人发展速度和商用场景。一年前谭捷觉得AI机器人短期商用不可能，现在大家似乎找到一些可能方向。如果速度持续加快、商用持续发生，可能不是泡沫。人形机器人进入普通人生活，还挺遥远。

机器人是综合学科，很多问题叠加，解决一个问题不会突然work。一定要挑一个最急的问题，是获得高质量数据。谭捷愿意押注合成数据的价值，光靠真实数据解决不了机器人。

快问快答里，他推荐硅谷一家云南菜Pink Bistro，喜欢上海，推荐《高效能人士的七个习惯》，影响机器人进程的论文包括自己的sim-to-real、RT系列、Gemini Robotics。日常爱好旅游、种花、赛车模拟器、钢琴，还有两个娃，大娃12岁，小娃5个月。带娃和训练机器人很像，强化学习靠探索和reward，imitation learning靠看爸妈和小伙伴。

机器人像几岁小孩？locomotion已经比谭捷好，宇树的人形机器人在机器人运动会上跑得比他快。夹爪操作大概像两三岁小孩，抓得不稳，但能理解指令，试几次能做对。整体能力发展不同步，走路和行动超过成年人，手和大脑还像小孩。

如果读者只想带走一个判断：机器人现在最稀缺的是可规模化、能覆盖真实场景的数据，模型架构创新重要，数据不够时架构优势发挥不出来。

看一家机器人公司，别只看demo视频。问三个问题：真实任务成功率多少，数据采集成本多高，跨本体迁移能不能把别的机器人经验用起来。时间线上，2到3年看sign of life，5年看产业商用，10年看家庭。别高估现在，也别低估它需要的时间。