对Physical Intelligence柯丽一鸣4小时访谈：Pi的开源模型研究，机器人的江湖、族谱与主角

2024年3月，Pi在硅谷成立。两年后，这家公司的投后估值超过50亿美元，外界给它的期待是「机器人领域的OpenAI」。Pi全称Physical Intelligence，主业是一套让机器人动起来的「大脑」软件，硬件并非它的主战场。

柯丽一鸣（Kay Ke）2024年6月博士毕业加入Pi，负责强化学习方向，也是π0、π0.5、π*0.6核心论文作者之一。她另一个身份是科幻小说写手，网名藏得很紧，节目里也没问出来。

张小珺和她聊了4小时。话题从芜湖的信息学竞赛班、东南亚背包、机器人江湖的族谱，到Pi的三篇主线论文、硅谷创业图谱、放弃剑桥教职、强化学习、中国硬件和「机器人种族」。这篇整理按录音时间推进，保留关键数据、人物和判断。

机器人与小说家：先钻进洞穴，再出来碰撞 00:02:11

柯丽一鸣平时的工作是教机器人更快、更好地完成任务。业余时间她写科幻小说。她说两件事都需要创造力，也都需要执行力：研究是有了想法以后，写代码、搭系统、做实验，把想法一点点做出来；小说是有了一个命题以后，一个字一个字码出来，让读者感受到它。

她写科幻主要关心两个命题。第一，生产力变化以后，人的生活怎么改变。第二，在一个社会风貌完全不同的未来，人与人之间的关系会变成什么样。第一个命题和她的工作直接相关。她每天都会想，自动化把很多事做得更高效以后，人到底去做什么。

她形容自己内向。研究风格是先把自己埋进洞穴里，埋头苦想一阵，再把头伸出来，去和人交流、碰撞。读博期间她是「独狼玩家」，有想法就说干就干，遇到问题自己上网学。加入Pi以后，她感受到有些事必须在团队协作里完成，做通用大脑需要每个人在自己擅长的地方发力。

Cloud Code和智能体改变了这种协作。她现在会先问智能体，再问同事。以前需要找人确认的模块，现在可以直接让agent去查、去试。她甚至构思过一种小说设定：每个人都有一个bot，替自己爬互联网、筛选信息、揉碎了喂给自己。如果所有人都默认这么做，没有bot的人就很难在信息海洋里生存。

她还构想过田园牧歌式的独居生活。远离人烟，很多家务和杂事交给机器人。她接受人与机器人谈恋爱，理由很直接：她是老二次元，身边就有生活方式和老一辈观念很不一样的朋友。

AI毁灭世界的叙事，她不太相信。她看三件事：权限、责任、能力。现在智能体拿到的权限有限，承担的责任有限，能做的事也有限。有人把邮箱权限交给智能体，结果邮件被删得差不多；她受伤时也会把医疗信息发给智能体，但最终还是要找人类专家确认。机器人行业内部还有一个老笑话：读了五年博士，教机器人把红色方块放到蓝色方块上，可能还不如三岁小孩。三件事叠在一起，她不认为当前节点上的智能体会走到人类对立面。

工作和生活她分得很开。Pi的经历会影响她对技术进展的思考，小说是天马行空的另一个空间。网名不公开，马甲要保护好。

芜湖、板寸和东南亚背包：一个「表面很乖」的小孩 00:17:26

柯丽一鸣出生在安徽，上学在芜湖。互联网上大家知道芜湖，多半是因为「芜湖起飞」，它其实是一座城市。她客观地说，芜湖的教育资源和大城市有差距。凑巧的是，这座城市有一位很优秀的信息学竞赛老师江涛。江涛老师学生时代因事故失去双手，后来回到家乡做计算机老师，在芜湖搭起了比较系统的竞赛梯次培养。

她8岁去学信息学，最初只是觉得可以玩电脑。先学LOGO语言，用图形界面让计算机画画，后来读《中学生学C语言》。她说这可能是自己这辈子唯一认真读完的编程教材，里面用讲故事的方法讲递归，比如向灯神许愿，许了一个再要三个愿望。竞赛对她的思维有影响，但润物细无声，没有突然改变性格。

信息学竞赛是她人生里一个关键节点。她大学先学心理学，觉得有趣，又觉得自己不适合。她性格里有打破砂锅问到底的部分，心理学很多问题要很多年后才能回答，不够直接。后来转经济学，想理解自己生活的世界，学着学着发现它能帮助理解世界，却不能帮助她理解自己想在这个世界里做什么。最后转回计算机。

她表面很乖，实际很叛逆。小学第一天，父母给她剪了板寸，她哭着上学，因为被同学嘲笑。小学毕业时，她成了学校里的大姐大。她见不得欺负人，会直接说「你不行我们就来打一打」。她承认暴力不好，只是在小学那个环境里，她能明显看到自己身上有一股不服。

高中她把头发又剪成板寸，一个人去东南亚背包两周。她很喜欢印度神话相关的小说，迷上了印度的宗教建筑，想跑去看。剪板寸、打扮成男孩子，是她当时觉得最轻松、方便又安全的保护方式。父母后来还是找来了。

她也讲过教育资源的落差。安徽每1万人里大概3到4人能上清华北大，大城市可能有80人。她知道自己并非那种特别用功、特别专注的竞赛优胜者，所以对初中、高中的同班同学抱有敬意。她不想补短板，不想为了冲一冲去学自己不认同的东西。

留学的契机很偶然。她喜欢古龙，喜欢游戏《雨血》，惊为天人，进而崇拜制作人Soulframe。她查他的经历，发现他去了耶鲁，就想自己也可以去留学。高二中间，她从升学轨道转向出国申请。到美国以后，文化冲击很大。美国学校重视presentation，想把孩子培养成能讲梦想、号召别人一起完成梦想的人。她一个内向的人，到了那个环境，只能多说点话。后来她真的变得更能跟人交流。

她比较中国、美国、英国。中国社会父母那辈经历了很多动荡、机会和变革，往上数三辈，很多人从田里出来。美国是运行了两百年的资本社会，有阶级固化。英国更保守，社会阶层和品位对人有很强的塑造。她当时觉得中国在那条轴上最百花齐放，硅谷则是大家抛弃旧东西、重新开创新的东西。

机器人江湖的两条族谱：规划控制与机器学习 00:53:56

2017年她开始读博。那时把机器学习放到机器人上，是一个新兴但不主流的方向。机器人发展了几十年，传统派讲究路径规划和控制：先想第一步、第二步、第三步，连成计划，再让控制去执行，保证每一步不出错。她所在的实验室偏传统，导师Sid是CMU派系出来的全栈型人物，强调学生要会造机器人、做动力学分析、做规划、做控制。她是实验室里唯一做机器学习的人。

导师会批评她：在模拟器里跑得再好有什么用，要上真机。她后来从头搭了一台筷子机器人，自己买组件、组装、写系统、写驱动。她和导师打赌：她作为人，能遥控一台不完美的机器人，用筷子夹起小球；那么只要操纵算法足够聪明，机器人也应该能做到。2018、2019年，第一篇工作做出来了。后来她不满足于模仿学习，觉得永远照抄别人不能突破上限，转向强化学习，让机器人自己探索，最后能在空中夹住晃动的小球和玻璃球。

机器人江湖有两条族谱。CMU这条线里，马特·梅森（Matt Mason）说过，灵巧的关键看大脑如何操控一个简单结构，手本身没那么重要。西德·斯里尼瓦萨（Sid Srinivasa）做路径规划，也做过机器人酒保。桑贝·金（Sangbae Kim）在MIT做Cheetah，是现代机械狗的重要奠基人。马克·雷伯特（Marc Raibert）做波士顿动力，把电机和运动能力推到极致，做出后空翻机器人。

机器学习这条线，她大学时看吴恩达的网课入门。Pieter Abbeel是最早把机器学习放到机器人上的先驱之一，他的学生Sergey Levine后来把强化学习在机器人上发扬光大。Sergey和Chelsea Finn都是Pi联合创始人。Sergey是科幻小说重度迷，Pi很多论文里的科幻引用都是他写的。伯克利内部有个笑话：ChatGPT出现之前，他们已经用上了「Sergey GPT」，论文草稿发给他，返回去又快又好。Chelsea每天四点起床游泳，对动作和数据有很强的动物性直觉，π0很多任务是她推动的。

机器人太重要了，我们不能只让搞机器人的这帮人来搞

这句话来自吉滕德拉·马利克（Jitendra Malik）。柯丽一鸣给了两种解释。一种不太友善：搞机器人的人不行，得我们上。一种比较友善：要把机器人做出来，必须不同行业群策群力。她认同后者。机器人需要做视觉的人、做大模型的人、做硬件的人、懂产业链的人一起进来。

两派之间有鄙视链，也有真实的方法论冲突。传统派质疑机器学习：「什么都能做，什么都做不好，那要它有什么用？」这个质疑今天仍在。工厂里用大机械臂把玻璃装到车上，传统方法在成功率、稳定性、速度上很有保障，机器学习暂时还不能说鲁棒性完全追平。机器学习派的使命，是让专家从系统中间消失，让机器从数据里自己学。

硬件成本也解释了为什么早期机器人不流行。2017年前后，Shadow Hand要50万到100万美元，Barrett的三指手十几万美元，Franka几万美元，已经算便宜。现在中国机械臂大概1万美元上下。不到十年，价格曲线变了很多。

硅谷创业图谱：做大脑的、做人形的、做数据的 01:27:18

Pi和Skild AI都带浓厚学术创业色彩，创始人和联创多在学校当教授，目标都是具身智能的通用大脑。Pi更聚焦双臂操作，想把拿放问题解决。柯丽一鸣给过一个暴论：把pick and place解决，家里很多家务都能干掉，抓放、路径限制、物体多样性，是一大类值得解决的问题。Skild AI更多涉及腿、人形和狗，移动性更强。

Figure在2022年成立，创始人没有技术背景，但有成功创业经历。柯丽一鸣觉得这很有意思：一个人在2022年进入自己并不熟悉的领域，因为他相信这件事。1X做绳驱人形，形态独特。Dyna Robotics更强调商业部署，叠衣服视频是代表。Tesla硬件强，人形信仰最激进，强调终极形态。

2023年到2025年是机器人创业井喷期。Google DeepMind像黄埔军校。ChatGPT出来后，谷歌把机器人部门资源往大模型抽，很多人趁这个机会出来创业。Generalist AI和Sunday Robotics都更重视UMI数据，用人手抓着一个夹爪在真实世界里采数据，再迁移到机器人上。Generalist AI偏工业场景，Sunday Robotics的视频更家用，机器人也更可爱。

硬件方案大多保密，只能从视频推测。Pi相对开放，有学术发表传统，办公室安保也没那么严，同行朋友有时还能去看看。人形与非人形是直观的路线分歧。实用派认为现阶段不必人形，先把操作能力做出来，已经能部署。狂野派认为未来环境会适配机器人，手可以多只，轮子可以很多，身体可以动态组装，哪里坏了换哪里。

我们不做人形。因为他们要说做人形，我就不来了

柯丽一鸣解释过这句话。她认为人形值得研究，却不是她现在最想研究的问题。她更想做更好的任务。Pi的通用大脑要跨构型，不只人形。模型在不同形态的数据上训练，也能在不同形态的机器人上使用。人操控机械，不管是开车、开挖掘机，还是控制机械手，背后都是同一个大脑在指挥不同身体。

评估是机器人前沿的难题。自然语言可以生成一段话再打分，机器人得在物理世界里跑，才能知道它做成了什么。初始条件无穷：杯子放桌子的哪个位置、什么光照、什么背景、桌子多高、杯子什么角度。每个公司内部都有一套评估，侧重点不一样。π*0.6提出throughput，固定时间内的成功量，把速度和完成质量放进同一个指标。机器人还没有统一英雄榜，前沿方向分散，宏观命题却相似：让机械体在现实里把任务做好。

Pi的三篇主线论文：能力、泛化、表现 01:54:43

π0的关键词是能力。2024年，Pi做了叠衣服、叠箱子、清理桌面三个任务。叠衣服让外界耳目一新，之前很少有人看到这个级别的表现。叠箱子让人怀疑「这东西真能做吗」。清理桌面要求前所未有的物体多样性。三个任务奠定了大模型思路在机器人上的基石：先证明能力边界可以被推开。

π0.5的关键词是泛化。机器学习绕不开in domain和out domain：训练数据内表现好，数据外没用，影响就有限。Pi在大概100个Airbnb家庭里收集数据，做日常任务，再到新家庭里测试。他们发现数据量增加以后，新家庭表现会提升，曲线会放缓。这意味着不必把世界上所有家庭都采一遍，数据规模可能存在一个够用的数字。论文标题叫开放世界泛化模型，科幻引用照例由Sergey写。

π*0.6的关键词是表现。这是强化学习团队第一篇主线工作。方法强调简洁：智能体在一个任务上差不多能做了，就让它自己在真实世界里收集体验数据，放回训练池。它可以把机器人自己rollout的数据变成训练材料，提升表现。π*0.6提出throughput，最后机器人在第一版功能上超过了最初最好的数据收集员。机器人自己跑出来的数据，可以成为很强的数据来源。

数据成本要拆开看。真机数据贵，贵在平台、维护、操作员、管理、沟通和规划。硬件价格降下来以后，更大的成本是管人收数据。让已经训好的模型自己跑，数据成本能降很多。错误数据和修正数据很重要，模仿学习会积累错误，机器人进入糟糕状态后要知道怎么修。修正数据也可以由机器人自己跑出来，这是强化学习比较本质的部分。

仿真数据和真机数据，她持「黑猫白猫」态度：什么数据好用就信什么。真机数据目前不可取代，柔性衣服、摩擦力、粘连这些物理性质，仿真器还很难做好。叠衣服最简单粗暴的方法仍是采真机数据。仿真到现实的差距，在叠衣服这类任务上还是半前沿问题，两三年内有没有人做通，谁也说不清。

中间还有几篇有启发的工作。FAST研究动作怎么表达，让大模型在动作空间里预测更有效。Hi Robot做分层，高层把语言任务拆成更具体的小任务，低层执行，避免十分钟长任务里迷失。Pi内部还有Olympics，让研究员和数据收集员组队，用人操控机器人挑战很难的动作，开锁、开门都在其中。PARTNER则和叠衣服、打包公司合作，把Pi的模型放到更贴近商业部署的场景里。π*0.6的硬件是Pi自己做的，夹爪可换，做咖啡换一个夹爪，成本不高。节目录制早于π0.7，转写没有展开，本文只写到π*0.6。

七十人、二氧化碳警报与剑桥教职 02:26:01

Pi现在大概70人，还在最初那栋楼里。楼很朴素，有创业氛围，硬件软件都带进来了，人已经有点坐不下。会议室里的二氧化碳检测器，人超过三四个就可能跳红，大家只能把门打开继续干。公司没有打卡，Kay是夜猫子，中午到公司，干到凌晨两三点，睡前再干一会儿。早期每天10点有例会，她跟CEO Karol Hausman说太早，能不能改到下午。CEO震惊地看着她，因为例会最早是8点，后来推到9点，再推到10点。公司人数增加后，每日例会取消了，剩下研究会和课题组会。

研究由Sergey和Chelsea负责，Karol管基础设施，保障研究高效进行。公司有读书会，π*0.6上过两次：第一次讲问题、讲前人做到哪、为什么值得做；快成熟时再讲一次进展，大家提问、质疑。Cloud Code出来后，读书会还专门找人分享怎么用，柯丽一鸣听完惊了，最近两周把自己的工作流程全改了，效率大概三四倍。

她加入Pi很偶然。博士读了七年，一直以为自己去当教授，又害怕写funding proposal。ChatGPT出来后，她一拍大腿，觉得稳了，可以让ChatGPT帮忙写。她经历了一整轮教职面试，研究里大模型用得不多，讲的故事偏传统。Sergey的学生阿贝谢克来到华盛顿大学，成为她的小老板，两人方向很近，天天交流。阿贝谢克告诉Sergey有个人要毕业了，Sergey说可以聊聊。

她本来没想去，觉得创业跟自己没关系。后来转念，Sergey是有影响力的教授，去听听他想什么也好。她到Pi刚创立一周的办公室，没人告诉她那是面试。她不停问「你们在干什么」「这个任务怎么想的」，对方后来说，面试过程中感受到莫大阻力，本来想面试她，结果变成她面试他们。她聊完觉得这帮人求真。

学术界有些发表让她无奈。为了把问题做得更好，论文会说之前做不好的原因是某个原因，所以提出某个方法，逻辑不一定那么通顺，有时像自圆其说。Pi的人更求真，她给了offer，也觉得莫名其妙，但还是在找教职。她拿到了剑桥的教职，喜欢剑桥的人文气质，觉得在那里可以又做研究又写小说。最后她在毕业时辞掉剑桥offer，转身加入Pi。

工业界吸引她的是算力、数据、硬件和团队协作。学术界学生三年、五年就来来走走，一个项目刚开头人就走了。机器人又是多元化的工程，真机搭起来慢，坏了要自己修。她读博时搭机器人，三个月才第一次跑通，六个月才把遥操作定下来，全靠一个人。Pi能让她在一个齐心协力的大团队里做必要的事。

强化学习在她眼里很本质。教科书用巴甫洛夫的狗解释：狗做了一件事，给它奖励，它就知道这件事该多做。算法层面，强化学习有几个模块。探索是选一个以前没做过的事，判断小改动还是大改动。归因是做了很多事以后，知道哪一步带来了好结果。π*0.6在归因上有探索，从大量部署数据里找到「其他都是垃圾，这个地方是精华」。任务定义更难。语言模型可以用一句话定义任务，机器人说「叠衣服」，可以有千千万万种叠法。奖励函数设计不好，智能体会滥用奖励。超级马里奥里，强化学习发现一个bug，疯狂做bug，直接通关，奖励拉满，但它做的并不是人想要的事。

Scaling law在她看来很tricky。泛化有很多衡量标准，scaling也有很多衡量标准。π0.5在10个房子收数据，到第11个房子表现如何；收100个房子，再到新房子有没有长进；收1000个房子，提升是否变小。这些都是探索。她感觉现在数据量还是太少，还要更激进。算力永远不够，只要大家喜欢干活，就永远有新的想法、新的实验。

2026年她预期会有更多令人惊叹的demo，人形做操作任务会变成可以探索的应用，模型架构会有大变化。机器人和自动驾驶、大模型怎么对标？她认为更像大模型。自动驾驶对安全要求极高，一个错误决策可能出人命，决策空间相对小，控制器问题也少。机器人操作复杂，多关节机械臂、摩擦力、手腕怎么转，都要搞定。大模型可以胡说八道，用户不会全信，容错高。家用机器人最难：每个家都不一样，任务动作复杂，硬件要稳定，人机交互要安全。小机器人更轻、更安全、耗电少，但少了人的数据，因为很多人的动作它做不了。

中国硬件、机器人种族与没有写完的故事 03:16:14

宇树在春晚火起来，柯丽一鸣在大洋彼岸看到也很激动。一两年前，这种级别的demo还只是想想。它能做出来，有算法提升，也有硬件实力。中国在机器人硬件和供应链上有很强的领导力。很难想象一家机器人公司组装一台机器人，里面没有一个中国零件。美国要追这条产业链，她不知道怎么追。中国公司商业逻辑更强调实用主义，部署更早。Pi更偏研究，暂时不考虑商业化，担心分心。这个选择受Pieter Abbeel影响。Pieter创办过Covariant，早期商业化做得很深，回头看向大模型开发，可能是一种分心。Pi不想为了商业闭环去做对研究帮助不大的事。

中国团队可以follow Pi的公开论文，但追上Pi不只需要论文。Google就算公开，追上前也得先训一个Gemini尺寸的大模型。Pi积累的数据、算力、硬件和团队，也是门槛。Pi同事很关注中国机器人，群里会讨论宇树春晚表演怎么做，读书会想请专家来讲locomotion。大家都在看更新更好的东西，看有没有启发。

我其实一直很想做的就是机器人可以造自己

她把机器人自造自己看成里程碑。机器人像一个种族，有延续性，可以通过自我繁殖。她还喜欢机器人哪里坏了换哪里，像忒修斯之船，从头到脚换掉零件，甚至换模型。Pi发展过程中就有机器人不断修和改，最后只剩编号和原来一样，大家讨论要不要给它起新名字。她设想机器人种族会有自己的伦理：上一辈做的事跟我没关系，因为我已经从头到脚换新了。

意识问题，她很谨慎。她希望有人解释意识怎么从物理、化学里诞生。人类式意识，她有点悲观。宽泛定义下，跟AI聊天觉得它像人，也不能说它没有意识。机器人种族是不是人族延续？她不觉得机器人会是最后一件造物。人类活着不只为了提升生产力，还有爱与死。浪漫的想法是，人的生命很短，但造出的东西也许能看到宇宙尽头。

我很难在看到一个具体的意义的陈述的时候认同它

她自认有虚无主义的一面。人活着为了什么，她觉得无解，也不需要回答。每天激励她的是在做自己最想做的事。她喜欢乔布斯讲的点连成线：走过的时候毫不相关，有一天可以连起来。她也喜欢贪心算法和动态规划的区别：每一步都做局部最优，不一定得到全局最优。塞翁失马，焉知祸福。即使追求优化，做九分留一分也可以。她求学路上很多东西没做到最后，但正是那些没做到最后的东西，让她走到今天。

她写的小说有两类。一类在完全不同的科幻社会里探索人与人之间的关系，比如修真加宇宙科技，女主角穿越到未来，发现社会用性别分工塑造每个人，她想反抗这种塑造，召集盟友，改变制度。另一类把魔幻题材放进现代生活，比如现代打工人兼职武林盟主，两种世界观碰撞，游戏里组队、管理、安抚队友，和现代公司项目管理异曲同工。

机器人真正实现后，她想回家写小说、做游戏，创造一个贴合自己喜好的故事，看看有没有别人喜欢。读者能带走几个判断。机器人短期看真机数据、评估体系和操作表现，π0、π0.5、π*0.6分别回答了能力、泛化、表现。中期看跨构型通用大脑和硬件成本，谁能把数据闭环和硬件迭代一起做好，谁就更接近通用。中国供应链是硬优势，美国强在模型、算力和研究团队。个人层面，别把每一步都当成终局，留一点不优化，可能才有后面的线。