# 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子”

> 张小珺商业访谈录 No. 148 精读

- 发布日期：2026-07-28
- 主持：张小珺
- 原节目：https://www.xiaoyuzhoufm.com/episode/6a66ed17a3fec224d5a3f744
- 网页版：https://zhangxiaojun.qiaomu.ai/ep/6a66ed17a3fec224d5a3f744.html
- 精读字数：约 10480 字（阅读约 23 分钟）

> 本文为 zhangxiaojun.qiaomu.ai 基于节目转写的 AI 整理精读，不是逐字稿；引用请注明出处并链接网页版。

游凯超的高考分数只比清华录取线高两三分。进了清华，他做的第一件事是把分数忘掉：大一发了 100 多封邮件向老师请教，本科 36 门课拿到 4.0。十年后，他成为 Inferact 联合创始人兼首席科学家，这家公司从伯克利校园开源项目 vLLM 演化而来，2026 年初拿到 1.5 亿美元种子轮融资。

《张小珺商业访谈录》这期三个小时的访谈里，游凯超讲了两条线：一个人怎么从算法研究转向机器学习系统；一个寄托社区情怀的开源项目，怎么变成一家三十多人的公司。

中间有两年时间，四个博士生反复讨论要不要创业。有人为了等同伴先接了博士后 offer，有人先后被 xAI 和 Thinking Machine Labs 邀请，公司注册前还有一家顶级大厂的一号位打来电话，给四个创始人每人开 2000 万美元年薪。四个人都没有犹豫，全部回绝。

## 从擦线进清华，到离开算法研究 00:02:18

游凯超 2015 年开始接触编程。初高中阶段，他的主要任务是中考和高考，副业是做数学物理竞赛。真正让他对计算机产生兴趣的是几何画板这类辅助计算软件，还有清华 2013 年推出的学堂在线。他在上面学完大学物理和微积分，接着学了一门和 edX 联名的 Python 课程。

「我不太喜欢无意义的重复劳动，不喜欢刷题，更喜欢学习新知识。」他说。高考那一年题目简单，他攒下的东西没有体现在分数上，最后擦着录取线进了清华。大一那 100 多封邮件，他解释得很平淡：十多门课，每门课每周发一封，加起来就有一百多封。36 门课 4.0，是「自然而然的学习结果」，他没有把笔记字数当成优化目标。

本科阶段他做迁移学习，研究数据稀缺场景下的高效学习，想提升机器学习算法的泛化性。做了一段时间，他发现这类工作比较锦上添花：别人已经做好一个任务，你再用一个通用方法把准确率提高一两个百分点。研究依赖别人的场景，很难大规模应用。

让他动摇的是三件事。第一件，学术圈的投稿规模在几何级增长。他 2018 年开始接触人工智能研究，那时候一个会议一年几百篇论文，审稿人会认真告诉你哪里做得好、哪里该改。后来投稿数量远远超过审稿人的成长速度，中不中稿像抽彩票，跟工作质量的关系越来越小。

第二件，算法成果越来越依赖机器学习系统。他拿何凯明的 ResNet 举例：很多想法让人觉得浑然天成，「一开始就应该这样设计」，甚至几个月前在组会上就有人讨论过类似思路。为什么最后成功的是何凯明？游凯超的结论是，除了方法简洁有效，何凯明做了大规模实验。实验室里的学生只能在玩具数据集上「螺蛳壳里做道场」，把小型数据集玩出花来，却没有做规模化验证。**支撑实验的机器学习系统和数据，才是决定成败的关键。**

第三件，来自工业界朋友的反馈。2022 年他在 WOWS 大会上遇到旷视首席科学家张翔宇，拉着对方聊了一个多小时。让他意外的是，这位目标检测算法领域的大佬，几乎没有聊新的 loss 函数，聊的全是复杂硬件给软件带来的挑战。旷视在为视觉算法设计特化硬件，硬件有多级缓存结构，工程师每天最头疼的是手动控制芯片缓存之间的数据流动，是适应硬件去写各种各样的算子。

三个原因叠在一起，他从博士后半段把方向切到机器学习系统。2019 年暑假，他去伯克利 Michael Jordan 手下做暑期研修。Michael Jordan 隶属于 RISELab，实验室专注机器学习系统设计，分算法和系统两个方向。他在那里认识了李卓汉，当时即将入学的博士新生，在 Young Stoica 手下做研究。那一年两位老师刚好成为清华的访问教授，游凯超结束暑研回国，负责接待他们在清华的访问活动。

有一次交流中，他问 Young Stoica：如果我想做一个机器学习系统，但可能没有人用，那我花的时间是不是浪费了？Young Stoica 用自己的经历回答他，之前做过很多事情，只要你是一个好软件，总会有人用的。这句话他记了很多年。2023 年秋天 Young Stoica 再来清华访问，游凯超申请去伯克利交流，提起四年前问过的问题，说自己一直在探索，想做点有意思的事情。对方看到四年前那个少年还在践行当年的建议，很感动，同意了申请。

2019 年年底，他拿到清华特等奖学金。后来他评价这件事，特奖是特殊历史时期的产物，社交媒体发展快，学校大力宣传，评选在社会上引起不小的轰动。把一个大四上学期的本科生过度曝光在聚光灯下，容易干扰正常的学习科研生活。他参选那年，学校已经意识到问题，取消了现场答辩直播，也压低了宣传。再往后，特奖在社会上的讨论度越来越低，回到一个普通奖学金的位置。

「来清华更多的是追求自己的成长，而不是说我在这里又看到了什么样的人。」他说。

## vLLM 的诞生，和一个开源社区的生长 00:37:56

vLLM 项目 2023 年年中开源，工作从 2022 年年底就开始了。创始团队是 Young Stoica 的学生，论文的主要作者是李卓汉和乌苏克。项目最初是实验室的科研项目，写好论文，投稿，中稿之后放出原型系统。

伯克利有很长的开源软件传统。操作系统里的 BSD，芯片领域的 RISC-V，存储领域的 Raft，大数据和分布式机器学习系统领域的 Spark、Ray，都来自伯克利。这些软件很多是学生在读期间发起的科研项目，后来变成学生主要维护，再变成工业界的基础设施。

游凯超提到 David Patterson 在 2014 年写的一篇观点论文，叫《How to Build a Bad Research Center》。Patterson 的经验是，每个实验室或大型研究中心只做五年就够了，五年刚好是博士生毕业的一个周期。在这五年里，让优秀的博士生静下心来专注一个领域，能极大促进这个领域的发展。从 AMPLab 做出 Spark，到 RISELab 做出 Ray，再到 Sky Lab，伯克利的实验室一脉相承。实验室的五年周期和工业界的需求周期一旦共振，就会诞生重要项目。他觉得 vLLM 就是下一个。

说服一个学生加入开源项目、长期做核心维护者，非常困难。低年级博士生急着发论文支撑毕业，希望开新方向；高年级博士生忙着找工作，马上要去工业界。最适合的是博士中后期，没有毕业论文压力，又对开源项目有兴趣。游凯超当时正好处在这个阶段：之前的算法研究基本够毕业，他想换方向，希望拿到 hands-on experience，学会怎么 build 一个系统。几个月的纯工程实现，他完全接受。

他算是第四个主要成员。前面是李卓汉和乌苏克，论文的主要作者，也是项目一开始的主要维护者。第三个是 Simon，现在的 CEO，开源老兵。Simon 博士入学时 quit 去参与 AnyScale 的创业，几年后回来读博，社区经验深厚，也不那么看重论文，更看重对现实世界的影响。

PagedAttention 是 vLLM 起源的那篇论文，核心是借鉴操作系统的虚拟内存管理机制，管理自回归生成过程中的中间状态，也就是 KV cache。游凯超的评价很直接：从学术创新角度，这个算法的创新性偏低，「任何一个认真分析大模型推理过程的机器学习研究者都能想到这个想法」。论文投稿到 SOSP 2023，审稿人批评它 too simple，最后以低分过线的状态被接收。能发表，靠的是做得早、实验做得丰富。

今天的 vLLM 早已不是那一个算法。它是一个完整的大模型推理系统，要解决的问题是：模型和硬件都在飞速变化、互相耦合的时候，如何提供高效的推理服务。

2024 年的主旋律是重构。原型系统要从实验走向生产级可用，团队调研了业内其他推理引擎的设计，年底推出从 V0 到 V1 的重构计划。游凯超用电力系统打比方：模型是发电机，硬件是风力、光伏这些自然资源，推理引擎是电力系统，把自然资源转成电，送到每个人手里。V0 到 V1 的重构，好比发电系统从火电过渡到新能源发电。用户侧的使用方式差别不大，插头插上去就能用，背后的工作原理却发生了巨大变化。重构最困难的地方是保持用户兼容性：背后支持的模型和硬件不停在变，前端要给终端用户统一的体验，用 vLLM 就能在各种硬件上跑各种模型。

2024 年，开源模型的重心还在欧美，Meta、Mistral 这些。模型和硬件还没有很耦合，模型结构那一年没有大变化，vLLM 主要做各种推理优化。

2025 年中国开源模型爆发，完全在他们意料之外。他 2024 年 12 月结束交流回国，正好赶上 DeepSeek V3 发布，回来一月份 R1 又发布。DeepSeek 跟 vLLM 的合作很早，DeepSeek 内部用的就是 vLLM，后面加了自己优化的变种，从 DeepSeek MoE 到 V2、V3 一直有联系。2024 年，DeepSeek 还是社区里「泯然众人」的一个模型厂商。R1 之后，游凯超被他们的 Infra 团队震撼：基于 vLLM 做的优化比 vLLM 自己往前走得远，vLLM 一直在跟他们学。2025 年 7 月，WAIC 快开会，很多公司赶在之前把模型像产品一样发出来，vLLM 一家一家支持。

同年，他从零搭建中国的 vLLM 社区。项目诞生在美国，主要沟通渠道在 Slack，国内同学更习惯中文，用国外软件也不方便。团队搭起公众号、小红书、知乎这些平台，跟国内大公司建立联系。DeepSeek、Kimi 都公开说过用 vLLM，此前因为时差和距离，沟通很少。他回国后走访这些公司，了解他们用 vLLM 做什么、卡在哪里，把一个一个的人串起来。

## 四个人，和两年的犹豫 01:07:25

Young Stoica 有一个很坚定的判断：这么大的项目，如果没有公司支撑，一定会凉。他举了一串例子：Linux 如果没有 Red Hat，Kubernetes 如果没有 Google，PyTorch 如果没有 Meta，Spark 如果没有 Databricks，都走不到今天。vLLM 的体量已经到了这个级别，背后却没有一家公司。

Meta、英伟达、AMD 都在用 vLLM，他们是参与者，很难做战略性决策，彼此之间还可能打架。Meta 是英伟达和 AMD 的客户，它说要做某件事、要你们实现什么，社区里其他公司不一定服。

成立公司的好处明摆着，可以更好地支持项目，创始团队也成为创始人。代价是要承担大量不熟悉的非技术任务：融资、招聘、商业化。一群习惯了「来了一个技术问题，怎么拆解、怎么解决」的学生，要转身去养大一个组织，阻力相当大。

这个选择困扰了他们两年。Young Stoica 从 2024 年就开始说，其实 2023 年就在说了，只是那时游凯超还没加入。

游凯超决定得比较早。2024 年他在硅谷交流，很多同学在创业，他近距离看这些人的状态，聊创业中遇到的问题和关键选择，也跟一些投资人做了初步对话。他算了一笔账：创业最坏的结果，不过是少拿几年工资；不创业，vLLM 项目没有办法长期发展。2024 年年底离开伯克利时，他已经下定决心。其他几个人还没定，他不能一个人创业，于是接了 Sky Lab 的博士后 offer，说会为这家公司再等两年。

他也找 Michael Jordan 聊过：vLLM 势头很好，但如果去找别的工作，会有很多人给很多钱，博士后很清贫，怎么选。Michael Jordan 从过来人的角度告诉他，长期看，肯定要继续支持 vLLM。

Simon 也很早下定决心。游凯超觉得 Simon 更适合当 CEO，在维护社区的分工里，他已经展现出管理整个社区、跟各方沟通的能力。Simon 在 Character.AI 待过，试过借公司的力量帮 vLLM：从公司找人维护，从公司找机器资源。最后发现靠别人靠不住，公司有自己的事情，不可能把公司的人无限制地薅来做 vLLM。

最摇摆的是 CTO 乌苏克，PagedAttention 的一作，可选的牌太多。2024 年年初 xAI 刚创立，马斯克邀请他参与 Infra 建设，去了就是领导 xAI 的基础设施。2025 年 Thinking Machine Labs 创立，创始人又邀请他负责基础设施，后来估值一路飞涨。摆在他面前的机会太多太好，犹豫是人之常情。

最后两人把他叫来，问了一个问题：

> 你如果不跟我们一起创业，赚到了很多钱，但是十年之后，vLLM 项目失败了，你是开心还是不开心？

他想了几天，答案跟他们一样：赚多少钱，如果项目失败了，都不会开心。公司注册前那通电话打来时，四个人没有一个人动摇，直接回绝。

李卓汉没有加入。他 2024 年就毕业了，那时创业只有他一个人，其他同学都是学生。学生很便宜，有吃有喝、有电脑有网就能干活，没人觉得需要开公司。他拉不动别人，就去了 OpenAI，后来在 Meta 的 TBD 工作。现在他跟团队保持一些 high level 的技术沟通，深度合作比较难。

融资比想象中顺。硅谷的 VC 对他们期待已久，2023 年、2024 年就在接触。a16z 在 2023 年给 vLLM 项目一笔几十万美元的资助，单纯给开源项目发展用。2024 年，Sequoia 和真格也以开源社区的形式捐了一笔钱。等团队终于决定创业，再去找他们，对方的回答是钱已经准备好了。游凯超说，直到现在还有人表示可以直接给几千万美元的 SAFE，只求下一轮把他们考虑进去。公司保持谨慎乐观，希望融资节奏跟公司成长匹配，不为融资而融资。

投资人为什么看好？核心是 vLLM 在生态里的位置。每一个开源模型发布背后都跟着 vLLM 的支持，每一个芯片厂商都会主动靠近 vLLM。这背后的市场是几十亿美元的量级。游凯超觉得，给他们的钱相比他们产生的价值，并不算多。

## 仁慈的独裁者，和两千个贡献者的烦恼 01:20:11

vLLM 采用分级管理。最上面几个「仁慈的独裁者」可以最终拍板，包括 Simon、乌苏克、游凯超、李卓汉，还有 Red Hat 的几位。平时心平气和地沟通，遇到重要决定或者有强烈坚持时，大家得听他们的。往下是十来个核心维护者，负责关键模块，参与日常设计。再往下是几十个 committer，做日常代码开发，剩下的是社区贡献者。

项目挂在 PyTorch 基金会下面，也接受基金会的治理结构，主要是大公司参与，英伟达、AMD 这些芯片厂商，Red Hat 这些软件厂商，亚马逊、Google 这些云厂商都会投入资源。维护者的职责之一，就是协调这些大公司之间的合作。

游凯超做过比较强硬的决定，比如把 beam search 从引擎里删掉。一直有人来抱怨，尤其是做推荐系统的同学，觉得这个功能在自己的场景里很重要。可从 vLLM 看到的情况是，大模型推理的主要负载已经不适配这套算法，继续维护只会给模型和引擎的适配带来越来越多的复杂性，最后不可维护。

更多决策在优先级上。项目这么大，最重要的事情是定好优先级：支持什么，不支持什么。现在优先级明显放在大集群上的大模型，几百兆的小模型不在高优先级之列。推荐系统里有人在用这类小模型，vLLM 的回答是：你可以用，但你有性能优化需求，我们不接。

两千多贡献者，最大的挑战是想清楚不做什么。2025 年 coding agent 变得很能写代码，提交代码这件事的门槛几乎消失，维护者最重要的任务变成屏蔽噪音，找到真正值得做的方向。

2025 年 GitHub 发布过统计，按贡献者活跃度排序，vLLM 是全站最活跃的项目。这带来的是「幸福的烦恼」。2025 年 5 月，团队发现有培训机构靠提交垃圾代码包装学员简历：交一个没什么用的 PR，想办法合进 vLLM，学员就能在简历上写「我是 vLLM 贡献者」。这件事打破了他们对社区用户都是善意的这一基本假设。团队开始引入认证机制，更看重来自知名机构的贡献，遇到十分钟提交 20 个 PR 的账号直接拉黑，那些东西没有人的参与，全是 coding agent 生成的 AI slop。

**游凯超判断，开源社区的重心会往机构和重要贡献者手里集中，个人贡献者能做的事会变少。**代码便宜到这个程度，维护者花时间读别人的 PR，不如自己让 agent 重写一遍，自己掌握的 context 还更多。社区会分成两半：用户提交 bug report 和 feature request，维护者写代码。

OpenAI 的仓库已经走到纯 AI 治理，AI 提 PR，AI 审，AI 合。vLLM 没有走这条路。很多维护工作靠的是人对历史的 insight，做的事也不只是为了解决眼下的问题。支持三个月后要发布的新模型，写代码时脑子里要装着它；支持半年、一年后要上的新硬件，也要提前留口子。这些都需要大量个人 context，暂时交不出去。

## 从社区到公司：一次不得不做的转身 01:37:16

2025 年的工作重点是大规模集群部署，问题一下全冒出来了。

人力是第一道坎。开源社区人来人往，有人加入，有人离开，这种结构撑不住一个长期的重要 feature。第二道坎是法务。团队经常在新模型、新硬件发布前做支持，对方要求签 NDA，可开源社区不是一个实体，谁来签？对方法务还会追问：这次是这几个人来，下次换一批人，里面有没有我的竞争对手，要不要做背景调查？

第三道坎是机器。2024 年模型还小，搞到一台机器、一张卡就能做很多事，也有公司慷慨捐赠。2025 年规模上去了，很多优化必须做到集群级别，而别人能给一台机器已经是最大力度。为了做集群级优化，他们只能四处去讨：先花一个月说服对方给机器，拿到之后马不停蹄地排计划，因为这些机器一个月后就到期，对方内部有紧急项目，可能一周里一三五自用，二四六给他们，甚至临时通知一个小时后就收回。

游凯超说得很实在：2025 年他们做得不算好。所有人都看清了，没有公司，项目已经推不下去。他一直在内部喊：你看又有人找我们签 NDA 了，签不了，要是有个公司多好。2025 年几个人陆续毕业，大家终于说，那就真的开一家吧。

公司叫 Inferact，取自 inference，加上 bring inference into action，把推理做到行动里，让它真正跑起来。现在三十多人，接近四十，还在招人。四个创始人分工灵活，技术的事做技术，非技术的事做非技术，看谁手里的 context 更合适。Young Stoica 是创始人之一，现在是 advisor，重大战略决定都会问他。他是 Databricks 的创始人，也做过 LMSYS 的 Chatbot Arena，对行业水温敏感，会给一些高层的建议。

> 我们四个人可能是共享一个大脑，然后只是需要谁的时候谁出马。

跟基金会的关系很清楚。PyTorch 基金会不参与技术治理，公司每个季度向基金会汇报项目进展。基金会是那道保险杠，保证项目不会闭源，商标属于社区。技术上，还是团队自己在做。除了他们，Red Hat、英伟达、AMD 也在参与维护，也可以基于项目做商业化。

商业化在探索几条路。一条是自己有机器、有软件，直接对外提供 endpoint 服务，客户按 token 付费。一条是 BYOC，客户自己有机器，公司提供软件，产出的 token 给客户内部用。还有一些偏生态的合作，跟战略客户一起把生态做厚。整体逻辑是按量收费，卖的是 token 产量和成本节省，不卖工程师的时间。

社区会不会因为公司成立而失去信任？游凯超的观察是相反。合作伙伴早就盼着他们开公司：能签 NDA 了，对方法务松了口气；能有资质买算力、接资源了，很多原来做不成的事可以做。用户评估一个开源项目，看的是新模型发布时能不能支持、新硬件上来时能不能支持、新特性出来能不能用。公司成立让这些更有保障。

商业客户和社区需求冲突怎么办？他说现在不接这样的客户，供少于求，能服务的商业客户远远少于想合作的客户，可以很爽快地拒绝不想做的事。开源这件事上，团队没有争议：真想闭源，当初自己找家公司上班就行了。

## 模型与 Infra 的 Co-design：先抽中硬件的彩票 01:52:56

怎么向非技术的人解释模型和 Infra 的联合设计？游凯超还是用发电。硬件是自然资源，各地风不同、水流不同、日照不同；模型是发电机，有风车，有光伏板，有水力机械；推理引擎是电力系统，把模型跑在硬件上，把 token 送到千家万户。联合设计的程度，决定发电效率。有的地方水流湍急，有的地方水流平缓，你在这两个地方怎么设计发动机，让它更好地吃掉这部分能量，这就是 co-design。

为什么推理效率不只是系统工程师的事？他讲了一个概念，hardware lottery，硬件彩票。摩尔定律还有效的年代，软件和硬件基本各自为战，写软件的人不用太考虑硬件特性，通用性能每两年翻一倍，软件自然跟着变快。那个黄金时代结束了，现在进入专用算力的时代。英伟达常说的黄氏定律，算力两年翻几倍，翻的都是专用算力。算法如果没吃到这些专用算力，就是没抽中那张彩票，吃不到时代红利。

他举 Hinton 当年强推的 capsule network。概念上很 make sense，可在 GPU 上不友好，至今没有得到广泛应用，真要用起来，可能需要一块专用硬件。**模型结构决定推理效率的上界，上界太低，系统工程师无力回天。**Transformer 就是抽中了 GPU 的彩票，里面有大量矩阵乘法，天然适合并行。

算法和硬件谁领谁走？理想状态是协作，现实里硬件已经造出来了，算法多数时候要去适配硬件。硬件一旦押错方向，几年就过去了，这对硬件公司是巨大的挑战，必须不停踩时代的脉搏，押注下一个有用的硬件长什么样。

有没有模型结构设计得好、让 Infra 效率大幅提高的例子？他讲 RoPE，旋转位置编码。Transformer 出来之后，位置编码的实现少说上百种，其中很多要改动注意力核心实现，位置编码一换，注意力 kernel 就得重写。ALiBi 就是这类，所以没能广泛应用。RoPE 流行起来有个背景：训练长度在提升，FlashAttention 解决了长序列的训练问题，成了训练必需品，而绝大多数用户没有能力去改 FlashAttention。需要改注意力内部实现的位置编码，就这样被淘汰了。RoPE 的性质好，可以独立注入到 query 和 key 上，活在注意力之外，跟 attention kernel 互补，于是成了最佳搭档。模型结构设计得好，跟 Infra 形成共鸣，训练和推理效率都能抬上去。

DeepSeek 的 Infra 为什么被公认强？游凯超的评价是，那个团队是全球顶级，是不是第一见仁见智。Infra 能力强，能高效实现的模型结构就更多，算法研究员可以更快、更充分地探索选项。他们的算法同学也懂一部分 Infra：2024 年年初探索 MoE，写出高效粗粒度 MoE 实现的是 DeepSeek 的一位算法同学；后来的细粒度 MoE，也是他们在推理系统里第一个做出来。**算法要主动靠近 Infra，Infra 也要对算法有基本了解。**

他提到一个反面案例。MoE 里曾经有 Infra 同学为了让负载更均衡，选了 expert choice 的方案，跑得很快，可算法上不能接受。这是过度向 Infra 倾斜的结果。很多公司里算法话语权更高，Infra 被动接收需求；理想状态是两者 co-design，招人时就找既懂算法又懂 Infra 的，组织上让两边一起办公，日常讨论互相耳濡目染，很多判断会潜移默化地长出来。

DeepSeek 刚发布的 DSpark，是一种新的投机解码方法。自回归模型推理分预填充和解码两个阶段，解码阶段只能一个 token 一个 token 地生成，效率低。投机解码的做法是：根据当前输入，一次猜出接下来要生成的几个 token，把逐 token 解码变成一小段一小段的预填充，一次处理多个 token。DSpark 之前，业界已有 EAGLE、DeepSeek 自己的 MTP，特点是猜得短，三到五个，接收率高。DSpark 走的是 DFlash 路线，一次猜很多，比如十六个 token，vLLM 和英伟达最近刚发技术博客介绍对 DFlash 的支持，某些模型能做到每秒上千 token。DFlash 的毛病是猜得多也错得多，验证时浪费算力。DSpark 的改进是估计一下这些猜测里哪些靠得住，比如十六个里只有前八个置信度高，那就只验证前八个。

这个思路并不孤独。腾讯混元团队此前发布过 dcut，上海交大的同学提出过 domino，都在解同一个问题。所以游凯超说，论算法新颖程度，DSpark 算不上惊人。真正值得学的是另一面：想法出来之后，能不能扎实做到极致。DeepSeek 把推理优化压榨到了极限，这是他们一如既往的 Infra 底子。**一个投机解码算法能不能大规模用，取决于推理引擎里有没有好的实现。**引擎强，算法团队才有更大的探索空间和更快的反馈。

## Token 带着模型的烙印 02:15:10

把 token 比作电，这个类比很好用，也有边界。电是通用的，可以调制，可以变压，可以送到任何插座上。token 不行。你没有办法把一个 DeepSeek 模型产出的 token 转成一个 Kimi 的 token。每家模型的 token 带着自己模型的烙印，这是电力系统里不存在的约束。

这个差别决定了很多事。电力系统的价值在于标准化和互通，推理系统的价值在于让每一种“发电机”都跑出最高的效率，再把 token 按需送到具体的人手里。Inferact 把它写进了收费逻辑：不按工程师工时计价，按产出的 token 计价，按帮客户省下的成本计价。

游凯超对十年后的预期很克制。AI 会发展到什么程度，他不敢预测；能说的是，希望把大模型推理这件事做到基本解决，人们想起推理就想起 vLLM，想起 Inferact。2026 年的重点还是开源推理生态：下一代的推理引擎，下一代的模型，下一代的硬件，还有下一代用户怎么用 token 的负载形态，都要在开源的 vLLM 里给出答案。

三个小时听下来，最耐琢磨的部分落在那些不起眼的选择上。一个高考擦线的学生，把刷题的时间换成学堂在线上的公开课；一个算法研究者，因为发现再漂亮的 loss 也打不过算力和系统，转身去做工程；四个博士生，在各自能拿到的最好机会面前，拖了两年，最后还是开了那家公司。

对做技术的人来说，这里有两条可以拿走的判断。第一条，选方向的时候看天花板在哪里：**如果你的方法注定只能在玩具数据集上验证，失败与你的聪明程度无关。**第二条，衡量一项工作，可以换一把尺子：不数引用，数有多少人在用、省下了多少时间。游凯超说得很直白，你可以说我的东西不够 novel，但你不能说它没用。

对做开源的人来说，还有一条更硬的提醒。项目长到一定体量，靠爱发电撑不住：签不了 NDA，抢不到集群，留不住人。情怀能把人聚起来，组织才能把事情做完。vLLM 团队用了两年才接受这个结论，然后用一次全员拒绝天价 offer 的方式，把它变成了自己的选择。