【数据的综述】和谢晨聊，新时代的石油、历史、版图、数据金字塔、定价与Recipe

谢晨本科在北大物理系，入学时年级一百一十名。他花了三年，每天晚上两点睡，寒暑假没回过家，最后进了年级前五。然后他判断自己不适合物理。这个判断后来把他带到了哥伦比亚大学商学院，带到Jet.com做动态定价算法，带到Cruise做仿真，带到英伟达，带到蔚来，最后在2023年创立光轮智能。

这期节目是张小珺和谢晨聊数据。大语言模型的数据撞墙了，互联网数据吃得差不多，后训练和评测越来越卷人。机器人的数据还在一片荒漠里，预训练缺数据，评测也缺数据。谢晨的公司给具身智能公司提供仿真数据、合成数据、人类第一视角数据和规模化评测。他管自己做的事叫数据引擎，不叫数据工厂。

这期聊的是数据产业的完整版图。从ImageNet到Scale AI，从大语言模型的后训练到机器人的仿真评测，从数据金字塔到数据定价，从Waymo和特斯拉的旧对照到机器人大脑的新势力。谢晨有一个贯穿全场的类比：数据约等于教育。

一个物理系学生，花了十五年找到仿真 0:01:07

谢晨的履历很杂。北大物理本科，哥大商学院量化金融博士，Jet.com动态定价AI负责人，Cruise仿真负责人，英伟达自动驾驶仿真，蔚来自动驾驶仿真，2023年创立光轮智能。他管这叫寻找，寻找自己能成为某件事的前提条件，不是锦上添花。

在Cruise，仿真最开始是个玩具。游戏引擎加技术美术，做出看起来很真的世界，生成大量数据，算法团队用起来效果反而下降。他的老板给他三个月解决这个问题。他做的第一件事是评价仿真，建立一套评价准则。第二步才是把生成式AI和仿真结合，让数据真正喂到算法里，看到提升。那个时刻他相信了仿真。

在英伟达，他发现Orin芯片最大的客户不是Waymo和Cruise，是蔚小理。他加入六个月就回国加入蔚来。他给太太的理由是，不要小看英伟达，它是加速计算平台公司，不只是游戏卡公司。在蔚来，他从主机厂角度搭数据闭环。然后他问自己，为什么这件事一定要出来做。

答案跟Scale AI类比。Cruise最好的算法人才不会给仿真团队，会给感知团队。Waymo最好的数据人才不会给数据基建团队，会给算法团队。Scale AI能吸引全世界最好的算法和数据人才来打造数据飞轮。只要事情足够难、市场足够大，就应该在外面做。

他本科时还创过业，组织北大清华学生去美国交换。博士时养了一只叫土豆的八哥犬，三个月查出心脏病，他下载五百多个App，自学设计和写代码，做了一个狗友社交应用，在北美狗友应用里排到前三，全是五分评价。做了三年，到博士毕业，硅谷VC给了term sheet，他关掉了公司。没有商业模式，不想浪费投资人的钱。

他引用巴菲特和郎朗的例子。这两个人十岁就找到自己擅长什么。他花了很多时间发现自己不擅长什么，必须通过试错才知道。他擅长的，是基于一个颠覆性技术打造产品，用产品支撑一个产业。

数据约等于教育 0:20:09

谢晨给数据的定义，从AI数据发展的不同阶段来理解。最早是ImageNet，静态数据集，图片加真值标注，像一次性的填鸭式教育。然后是Scale AI，工业化生产，工厂式流程，质量、效率、交付时间线都可管控，像量贩式教育。再往后是大语言模型时代，预训练把互联网数据用够了，重点转移到后训练和评测，找能力很强的人出题、提供评价标准、发现模型的问题、针对问题给反馈，像私教，因材施教。

数据约等于教育。

数据是帮助模型学习的信号，以及相应的经验传授。数据从静态数据集慢慢变成教育系统。

大语言模型和机器人面对的数据问题不一样。大语言模型预训练数据足够，问题是后训练和评测，要找越来越好的人出越来越难的题。机器人两头都缺：预训练缺足够规模化的物理世界数据和交互资产，评测缺规模化评价能力。自动驾驶的评价是免费的，影子模式把算法部署在车端，输出信号和司机操作对比，不一样的地方就是反馈。大语言模型也有影子模式，用户交互就是免费反馈。机器人没有这个基础，只能靠仿真做规模化评价。

广密说数据及模型，模型及应用。谢晨认可现阶段模型泛化能力不够，零样本能力欠缺，所以需要什么任务就补什么数据。但长期看，他认为模型架构需要提升，不具备零样本泛化能力的模型不是通往通用智能的模型。他用人的学习类比，普通人和马斯克的学习算法不一样，马斯克从第一性原理出发，迁移知识更快。所以智能一方面需要更多高质量数据，另一方面模型本身要提升。

如果给大语言模型的数据打分，谢晨估计六十分，后训练和评测还有很长路。给机器人的数据打分，假设一百万台机器人回来的数据是起点六十分，现在连一万台都没有，零点六分都不到。

四类玩家，一个共生系统 0:41:39

大模型团队在做VLA。他们不想做复杂硬件，选最简单的机械臂，关注零样本泛化：训练一百种任务，另外五种没见过也能做。机器人公司关注具体场景和本体复杂度，轮式、足式、手上传感器，把具体任务执行好。两类客户从最早需求相近，最近六个月分化得很明显。

大语言模型团队、世界模型团队、VLA团队是共生关系。VLA用基础模型，有自己的大语言模型能力就用，没有就用千问或其他开源模型。世界模型可以作为VLA的基座，VLA给世界模型反馈。BEHAVIOR benchmark既是评价VLA的标准，也被用来评价世界模型。评价系统越来越一致，两件事可能越来越相关。

数据闭环这件事，特斯拉在自动驾驶里发明了它。上百万辆车在路上跑，司机开回来的数据训练云端大脑，云端大脑部署到端侧，形成飞轮。这个逻辑底层是本体相关：谁部署了最多本体，谁拿到最多数据，谁训练最好大脑。机器人领域这个逻辑不成立，因为不会有上百万台机器人在端侧执行任务，遥操作成本又太高。机器人数据一定符合金字塔结构，最多的数据来自本体无关的仿真和人类第一视角数据。

四类玩家：大模型商、本体商、数据商、场景商。大模型商用本体无关数据冲刺scaling，把大脑给本体商。本体商用大脑加场景数据做部署。场景公司有选择权，可以选A硬件也可以选B硬件，很多OEM会自己做机器人。数据商从甲乙方变成共生伙伴，需要提供评测、反馈、刺激需求、再拿数据训练更好模型、再跑评测。

谢晨不认为机器人领域会出现特斯拉那样的霸权。特斯拉在自动驾驶里是霸权，因为它有最大的本体规模和最多的数据。机器人领域数据核心是本体无关的，大模型商很难单独形成霸权。最后更可能是生态系统：最好的电脑公司、最好的数据公司、最好的本体公司三方强合作，让场景公司把机器人部署进去。

仿真从加速器变成必需品 1:14:45

谢晨很肯定，仿真对机器人是必备条件。两个原因。第一，机器人没有自动驾驶那样大规模端侧部署和人的示范，必须靠仿真采足够规模化数据。第二，评测除了仿真想不到别的来源。要在上千个家庭、成千上万个任务上随时拿回信号，每天算法演进都要重复测量，只有仿真能做到。

过去三个月有一个信号。最早光轮服务的客户都是坚定的仿真派，最顶级的大模型团队里有人是绝对的真机派，不愿意尝试仿真。谢晨主动发邮件，对方说我知道你们是仿真最棒的，但还没到时间点。过去三个月，这些人都来找光轮，核心问题是没法规模化评测。学术benchmark太简单，真机评测不够规模化。他们要一千个不同家居场景、大规模任务和评价标准，随时评价自己。

仿真定义要严格。物理准确，环境、物体、摩擦力等物理参数和真实世界对齐。可复现，跑一百遍九十五遍以上结果相同。可修正，相同环境相同起点改变行动能看到不同结果。视频模型是对下一帧的预测，很难复现，没有准确行动，改变初始条件很难产生其他结果，所以现在还不能叫仿真。世界模型有机会成为仿真的一类，但仿真和世界模型是共生关系，不会互相取代。

与自动驾驶对照。Waymo在旧金山一个城市一个城市做，特斯拉从大量车队收数据，规模化更好。机器人领域不会简单复制特斯拉模式，因为数据核心是本体无关的仿真和人类数据。最后可能是三种模式：Waymo模式、特斯拉内部模式、马斯克体系模式。国内小米有可能同时做大脑和机器人，小鹏、理想、蔚来有机会，但前提是有世界模型团队和能力，卡的数量要大几万张。创业公司很难做大脑。

谭杰说过，仿真数据带来的是sim-to-real问题，不是泛化问题，泛化问题应该通过生成极大量仿真数据来解决。谢晨同意。机器人领域的智能上限比自动驾驶高，任务更复杂，长尾场景更多，所以需要仿真来生成足够多的变化。

金字塔的中间层最值钱 1:42:40

数据金字塔是朱玉可教授提出的概念。最上层是真机采集数据，最准确最好用，但最难规模化，机器人难规模化，场景也难规模化。中间层是仿真数据，规模化好，有sim-to-real gap，但大模型客户预训练用大量仿真加真实数据，模型通用能力变强，gap在变小。最下层是互联网数据和人类第一视角视频数据。

谢晨认为金字塔不是三层那么简单，每一层要细分。仿真层最上面是人驱动的仿真数据，ROI贴近真机数据，不需要机器人本体，质量最高，规模化能力欠缺。往下是算法驱动模型驱动的自动化采集层，人的介入少，规模化好，质量不如上层。人类数据层也分被动采集和主动采集。

金字塔不是独立的三层，是以仿真为中心的闭环。仿真评测要做好，需要真实场景、物理、人的轨迹经验、评价标准，闭门造车不行。人类第一视角数据可以基于real-to-sim把世界拿回来，扩充仿真规模化。仿真做完要在真实世界对标，遥操作数据和评测与仿真对标，让仿真不只服务训练也服务评测。

哪些数据被高估？真机数据肯定被高估，过去几个月大多数人都看到了。仿真还在被低估，尤其是仿真评测，大模型团队完全看到了，很多机器人公司还没到那个痛点。人类数据也被低估。

定价。数据越来越贵，因为不同阶段数据给算法带来的价值不一样。预训练数据最便宜，应该是标品，全世界五家大模型公司分摊成本。后训练和评测数据更针对性，评测驱动，给信号和经验传授，价值和价格更高。具身数据一小时几十人民币到几千人民币不等，高质量数据在几百到上千人民币。

高质量数据要物理场景多样、交互真实、符合物理，轨迹记录专业，评价指标和标注准确。反直觉的是，先失败再成功的数据更贵，完美做披萨的视频不一定最贵。电影数据、游戏数据有用，但ROI不高，处理成本高，模型提升点数低。预训练阶段ROI最高的是仿真数据加算法驱动采集，以及人类数据。

最有效的数据是先失败再成功的数据。

数据配方没有标准答案 2:02:50

光轮智能更像data engine，不是data factory。data factory是流水线，缺乏先进技术、缺乏系统、不是反馈驱动。data engine是反馈驱动的学习引擎，基于系统能力，利用端侧的人生成数据。内核是全栈：仿真引擎构建物理真实世界和可交互资产，刚体资产简单，非刚体比如线缆插拔很难，需要自研非刚体计算器。物理测量工厂用自动化机械臂和工具链和真实物理资产交互，把力学信息拿回来，自动放到仿真资产和场景里。仿真数据管线有两条，人驱动遥操作质量最高但规模化欠缺，算法驱动自动化采集规模化好但需要人工介入。再往后是标注，用大模型能力做预标注，人在环质检。

评测也是数据管线。从人采集链路和端侧硬件、云上自动化算法拿回数据，做real-to-sim，重建视频里的物理，提取任务和评价标准，放进仿真资产、场景、任务定义，规模化产生评测数据链。光轮还有真实评测机件，真实机器人和评价算法，目的不是服务客户评价真实场景，是和仿真大规模工具链对标，看相同算法在仿真和真实里的相关性。

数据配方没有标准答案。跟最领先的客户共生迭代。最早客户要完美数据，后来要纠错数据，要分布广的数据，拿瓶子方式不一样。真正对大规模预训练数据有认知的团队极少，可能五个左右，光轮基本都合作。数据金字塔需要验证，哪一层最有效、配比如何，要几万张卡才能验证。认知越来越偏本体无关，不只是预训练，还包括后训练怎么微调、多少仿真多少真实、评测怎么构建，是体系化认知。

中美版图。大模型派：字节、阿里、OpenAI、DeepMind、英伟达，可能还有PI。他们关注零样本泛化，用相对简单的标准化本体验证规模化能力，相信仿真、仿真评测、人类数据。机器人公司分化：宇树坚定做本体，定位清晰，不和大脑公司竞争；智元商业化走得好，上下游打通，供给驱动。

谁更激进：字节、阿里、OpenAI、DeepMind、英伟达五家角逐机器人大脑。国内大模型能力极高，千问是最好开源模型，人才密度高，决心高，资源开始往具身转。

谢晨说光轮团队一百来人，全职更多是工程技术方向。他不认为AI会自己为自己完全生成数据然后服务自己，因为更像一个运动机。核心是拿到足够准确的世界、足够准确的任务，有人在里头做经验示范，再放大这个示范。以人为中心的数据公司可能需要千万到亿量级的人，以仿真为中心的系统可以放大人的经验，需要的量小一百倍。

终局是一个环境，不是一家工厂 2:28:52

机器人大脑路线没有完全收敛。模型架构还在研究，世界模型怎么更有效利用还是研究问题。物理AI、空间智能、世界模型概念不一样。物理AI指能在物理世界行动的模型，主要是自动驾驶和具身智能。空间智能关注三维空间、视觉、重建和生成、预测。世界模型是对物理世界有理解和预测能力，但可能欠缺行动能力。

如果只解决一个数据问题：具身智能是评测规模化。本体无关数据的预训练通路和scaling law已经出现，评测是卡口，解决不了大家很难衡量智能提升。大语言模型是评测和后训练的高阶评价指标，模型能力提升后需要更牛的人提供更好反馈、出更难考题。魔高一尺道高一丈。

数据问题什么时候不重要？谢晨以前认为十五到二十年，现在观点变了。智能越强对知识越饥渴，但可能从向别人学习变成与自己对标。终局可能像马斯克说的，人就在一个仿真里，AI在自己的仿真环境里基于自己设定的成功指标训练内功。数据工厂会消失，但环境会留下。光轮提供的不是数据工厂，是系统驱动、评测为中心、帮客户发现问题并提供反馈和经验的系统能力。终局可能所有人不用光轮的数据，但用光轮的仿真环境做RL。

中局的数据公司可能跟教育公司是长得很像的。

仿真是谢晨找到的方向。他认为仿真是真正能够解决具身数据问题的基石，是具身智能学习的前提条件。但仿真单独不够，需要金字塔，以仿真为中心但不是仿真唯一的系统能力。

他把爱因斯坦的思考实验当作类比。爱因斯坦在大脑里构建思考实验，基于物理基础认知和限制条件，做大规模实验。仿真就是给AI提供这样的思考实验环境。智能越强，越需要环境、成功标准、反馈，然后自己训练自己。