开源一段论文探索之旅：模型范式、Infra和数据、语言、多模态的完整变迁史

2022年ChatGPT发布时，谢青池已经创业九年。他本科学计算机，毕业后去豆瓣做产品，后来做过O2O和消费。2022年他加入美团光年之外，负责产品。

然后他开始读论文。两年里所有休息时间，出差住酒店、下班后、周末，一篇一篇啃了两百多篇AI论文。第一周他发现自己在学英语，没在学AI。头两三个月经常看着论文睡着。后来他把这段经历整理成36篇经典论文的讲解，做了一场四小时分享，PPT开源。

这期播客是张小珺对他的访谈。谢青池讲了四个部分：模型范式、Infra和数据、语言模型、多模态。他用三个视角串起这些论文：历史、范式、人。

一个产品经理为什么去啃论文 0:01:30

谢青池在豆瓣做过一个叫阿尔法城的产品，那是2010年前后一个很前沿的社区实验。为了做这个产品，他系统读过城市规划的论文，丹麦教授扬·盖尔关于城市和公共空间的著作几乎都翻过。产品经理关心边界，产品就是在给定边界里求最优解，边界一变，最优解就变了。

互联网时代的技术论文不多，Google的BigTable、MapReduce有同事读，但移动互联网本身是技术的应用，技术已经比较成熟。AI不一样。谢青池2022年开始读论文，判断是这项技术还处在早期，需要靠读论文去了解它的边界，去follow它的演进。

他读了两百多篇，不到三百篇。最大的门槛是英文。第一周他发现自己在学英语，没在学AI，同一个熟悉的单词在论文里有不同的意思。后来他用沉浸式翻译，论文都交给AI翻译。再往后，他大量用AI来学AI。ChatGPT、Claude、豆包都是身边的老师，学会提问就能得到很多惊喜。Claude的Artifacts可以做一个可视化网页来讲原理，Dia浏览器能一边看论文一边划词提问。

他还列了一份路书。视频有吴恩达的机器学习和AI课程、李宏毅2025年的生成式AI课程、Andrej Karpathy的YouTube、B站李沐的论文精读系列、3Blue1Brown的数学和神经网络可视化、王木头学科学、周米讲GPU和网络。书有《一站式LLM底层技术原理入门指南》、《动手学深度学习》和《深度学习中的数学》。

讲论文时他用三个视角：历史，既有编年体也有纪传体；范式变迁，看旧范式碰到什么问题、新范式怎么走到舞台中央；人的视角，看这些作者怎么登上舞台、后来扮演了什么角色。

我们所有的科研工作，都是在原有的范式框架里面往前走的。

从GPU到Transformer：算法如何抽中硬件彩票 0:19:35

故事从1999年第一颗GPU开始。英伟达的GeForce 256把三维图像的几何计算从CPU里独立出来。2001年GeForce 3引入可编程的顶点着色器和像素着色器，GPU可以被编程了。2004年，Ian Buck和导师Pat Hanrahan发表Brook，把超级计算机上的Brook语言移植到GPU，把底层图形硬件抽象成流处理器，开发者用接近C的语言写程序，有流、核函数、规约，还有配套的编译器和运行时。这就是CUDA的前身。Ian Buck后来加入英伟达，是CUDA创始成员。Pat Hanrahan拿过图灵奖，是皮克斯创始员工之一，拿过三次奥斯卡，后来创办Tableau，2019年被Salesforce以157亿美元收购。

2012年AlexNet。李飞飞团队建了ImageNet，1400多万张标注图像，2万多个类别。2010年第一届竞赛13支队伍，余凯所在的NEC是冠军，用的是传统特征提取。2011年7支队伍，2012年6支队伍，比赛眼看办不下去。AlexNet同时scale了数据、计算和模型，6250万参数、65万神经元，在现在看来只有0.06B，当时是最大的卷积网络。它比第二名好出十几个点。Hinton、Ilya、Alex Krizhevsky三个人后来创立公司，被Google收购。

2014年两篇论文解决序列到序列。翻译的本质是把一段中文序列变成一段英文序列，过去的网络只能输出固定长度向量，五个字进去必须五个词出来，这没法翻译。seq2seq引入编码器解码器结构，把输入编码成一个隐藏状态再解码，输入输出长度解耦。但隐藏状态空间有限，句子一长就装不下，注意力机制给每个词和当前目标词算权重，解决长序列的信息丢失。这两篇论文的作者包括Ilya、Oriol Vinyals和Koray Kavukcuoglu，后来分别成为Gemini预训练和后训练的负责人。

2015年蒸馏。Hinton、Jeff Dean和Oriol Vinyals合作，让一个小模型去学大模型的输出概率分布，不只学概率最大的那个答案，还学那些概率小的软标签。学生模型泛化能力更强。这是模型变大过程中发展出来的辅助技术。

2015年底ResNet。何恺明、张祥雨、任少卿、孙剑在微软亚洲研究院。网络到100层以上不但不更好反而更差，这叫模型退化。残差连接让网络学习输入到输出的增量，而不是直接学完整映射，梯度消失和爆炸也缓解了。引用量接近30万，比Transformer还高。今天几乎所有网络都还是残差网络。

2017年Transformer。它要解决RNN不好并行的问题，也解决CNN捕捉长距离依赖要绕好几层的问题。八个作者都在Google，Noam Shazeer后来创立Character.AI。注意力机制让序列里任意两个位置直接计算关系，不需要经过中间层，而且这些计算可以拆开并行，特别适合GPU。谢青池说这叫抽中硬件彩票。Noam有一句话：

我们不提供对模型为什么work的任何解释，如果它work，那我们把它归为神的仁慈。

这句话消解了很多人的疑问。为什么模型结构是这样，为什么某个维度是64，研究员很多时候也说不清，都是试出来的。这个阶段我们对神经网络的理解还很浅，模型仍然是黑盒，但已经能够应用它。

强化学习、MoE、CoT、LoRA：那些定义时代的问题 1:07:00

2017年还有两个重要工作。AlphaGo Zero不依赖人类棋谱，只给模型围棋的格子和规则，让它自己下。它用了更少的卡，训练36小时就超过了击败李世石的版本。每走一步做1600次蒙特卡洛树搜索。这个工作启发了OpenAI做o1的thinking模式，也启发了DeepSeek R1 Zero。

如果模型不做test-time computing的话，模型能力其实并没有我们想象那么强。

同年现代MoE。Noam Shazeer再次出现。模型参数变大，训练成本是一次性投入可以摊销，推理成本是线性的，每用一次都要花钱。MoE只激活一部分参数，论文里说获得超过1000倍的模型容量提升，计算效率只略有损失。DeepSeek选MoE路线，成本优先。MoE不好训，MiniMax训了三次才做成。

2022年CoT。Jason Wei，OpenAI少见的本科学历研究员，达特茅斯毕业。论文难度接近一篇博文，但它定义了一个时代的问题：只要向模型展示推导的中间步骤，告诉它一步一步思考，推理任务的表现就大幅提高。它让整个行业的重心从预训练转向后训练。Jason Wei的Google Scholar引用量在o1发布后暴涨。谢青池说，有一类研究员擅长解决问题，另一类研究员擅长找到这个时代最重要的问题，Jason Wei属于后者。

2021年LoRA。Edward Hu，耶书华的学生。大模型微调成本高，每个任务存一个副本也占空间。LoRA在模型旁边挂两个小矩阵，学的是残差，推理时可以和原矩阵合在一起，不引入延迟。它本来是为Transformer设计的，真正大规模用起来是在扩散模型里，选风格就选一个LoRA。现在也有人用LoRA做模型的记忆。

2022年ReAct。姚舜宇，97年的作者，说唱厂牌创始人。ReAct把推理和行动结合起来，模型一边想，一边行动，行动之后观察，观察之后再想。在ChatGPT出现之前，CoT、ReAct这些影响上下文工程和Agent过程的关键概念都已经出现了。

2018年The Bitter Lesson。Rich Sutton的文章。过去70年，利用计算的通用方法最终最有效。短期手工特征有收益，长期会被算力增长打败。能随算力无限扩展的两种方法是搜索和学习。谢青池说，这段话看起来深刻，OpenAI有研究员上班前先读一遍。但回到具体产品，Claude Code的系统提示词里仍然有很多手工特征，比如告诉模型六位数以上的加减乘除请用工具。模型还没那么强的时候，手工特征就有收益。

算力、数据与Scaling Law 1:52:58

2019年ZeRO。GPT-1的1.2亿参数到GPT-3的1750亿，涨了1000倍，GPU显存只从16G到80G。一张卡装不下模型。ZeRO做数据并行的框架，消除训练过程中的内存冗余，让可训练模型大小和GPU集群总显存成正比。这个工作放在微软的DeepSpeed里开源，支持了OpenAI早期的训练。

Scaling Law是两篇文章。2020年OpenAI的论文，2022年DeepMind的Chinchilla。人们相信模型越大越好，但数据和计算资源有边界，语言数据几乎耗尽，集群最大也就10万卡。给定计算预算，怎么分配参数量和数据量。两篇论文都发现loss和计算量、数据量、参数量之间存在对数线性关系。这意味着可以用小模型实验预测大模型的效果。训练大模型像开盲盒，花三个月和很多钱，不知道结果好不好，会不会loss炸掉。Llama 2的论文里说训练三个月炸了几百次，每两个小时炸一次。DeepSeek的论文里loss曲线很漂亮，两个月训完没炸，这是工程能力强的体现。

OpenAI建议给定预算下尽可能大的模型，即使提前停止训练。Chinchilla说OpenAI的策略会导致很多模型训练不足，参数和数据应该等比例扩展。参数翻倍，数据也翻倍。Chinchilla还证明用更多数据训练更小的模型，比用更少数据训练更大的模型更好，小模型推理成本低。现在很多小模型用过量数据训练。

2022年LAION-5B。德国高中物理和计算机老师Schuhmann发起。OpenAI的CLIP证明4亿图文对可以训练出视觉和语言的联合表示，但没有开放数据集。开源社区认为少数工业巨头垄断AI对人类不利。他们用CLIP过滤Common Crawl，建了5B图文对的数据集，比ImageNet大一个数量级，催生了整个扩散模型领域的创新。

谢青池特别提到一个细节。LAION处理数据时把色情图片标了not work，但没有删掉。如果训练时不用这些标签的数据，模型会失去对人体结构的理解能力。所以多模态模型原生有这个能力，只是在输出时关掉。这个细节藏在论文里，公众号文章不会提，只有读第一手材料才能看到。

2023年RefinedWeb。GPT出来后大家意识到数据和模型要同步scale。高质量语料库掌握在大公司手里，OpenAI有钱买书、买论文、清洗社交媒体。RefinedWeb证明不需要精心处理的人工语料库，拿Common Crawl精心清洗也能训出好模型。这个方法容易scale，不需要雇人。HuggingFace有一个三部曲博客讲怎么清洗数据、Infra怎么搭。

2024年MegaScale。字节。2022年底以后OpenAI几乎不发论文，大家都知道万卡集群，但不知道怎么把一万张卡连起来跑一个任务。全世界当时只有三个公司有经验：OpenAI、字节、DeepSeek。MegaScale是第一篇公开发表的万卡训练论文。GPU在万卡尺度上会坏，物理损坏，或者电磁干扰导致比特翻转。系统要能监控、诊断、归因、自动定位故障、自动恢复。算法要和Infra做co-design。DeepSeek的V3论文里，H800带宽窄，模型切四张卡，计算和通信几乎平衡，GPU利用率接近50%，这已经是非常好的水平。

语言模型：从Word2Vec到GPT-3 2:21:29

2013年Word2Vec。把单词向量化。过去单词被视为孤立的原子，苹果手机的苹果和水果的苹果没有语义区分。Word2Vec找到一个连续的向量表示，国王减男人加女人接近女王，意大利减罗马等于法国减巴黎。这个表示可以拿去改善搜索和下游任务。一作Thomas Mikolov，二作Jeff Dean。

2016年Google Translate。吴永辉、Koray、Oriol、Jeff Dean。第一次神经网络的大规模线上部署。过去工业界还在用基于统计的翻译，神经网络在准确率上一度不如短语统计方法，训练推理慢，处理生僻词效果不好。这篇论文把学术界验证过的范式在工业界走通，用了ResNet、编码器解码器、注意力、低精度计算、数据并行和模型并行。吴永辉是工程线条出身的科学家，后来成为字节Seed负责人。

2018年GPT-1。Alec Radford一作，姚舜宇的导师是作者之一。提出无监督预训练加监督微调的新范式，用BooksCorpus 5GB数据，0.1B参数，decoder only结构，next token prediction。这个范式后来成为LLM的主导范式。

同年BERT。Google。双向表示，学完形填空，能看到前后文。BERT base 0.11B，large 0.34B，一出来几乎刷遍所有榜单。BERT论文里说GPT从左到右的架构对句子级任务是次优的，对问答这种标记级任务可能有害。2018年BERT是更主导的范式，很多研究员转向BERT，只有OpenAI坚持GPT。谢青池说，如果历史停在这个时刻，就没有OpenAI什么事了。

OpenAI的信仰是，在足够大和足够多样的数据上做next token prediction，Transformer能学到语言本身的丰富规律。GPT-2把模型放大到15亿参数、48层，用Reddit点赞超过3的链接爬了WebText，40G数据。GPT-2无需微调就能泛化到不同NLP任务，zero-shot概念第一次提出。论文标题叫语言模型是无监督的多任务学习者。GPT的训练方式是一种隐式的多任务学习，模型既预测数学的下一个token，也预测地理、天文的下一个token，它被迫去学更本质的规律。BERT更像一个很好的语言建模模型，但泛化到语言之外的能力弱一些。

2020年GPT-3。1750亿参数，96层，570GB数据，31位作者。2019年3月OpenAI改组为有限盈利公司，7月微软注资10亿美元并提供云计算。GPT-3用Common Crawl、Books、Wiki，组建了数据工程、评估、Infra团队。上下文学习能力显现，只需要改prompt、给任务描述和范例，就能引导模型执行任务。这个范式进化成了context engineering。GPT-3的训练其实不充分，数据和参数没有同比例扩张，后来OpenAI一直在压参数规模。

2022年InstructGPT。欧阳龙一作，Jason Wei也在，还有PPO作者。雇了40多个合同工构建SFT数据和排序数据。SFT数据量不大，几千条，排序数据把信号放大一两个量级。训练奖励模型，做RLHF。结果是，13亿参数的GPT-3经过这套调整，遵循指令的能力超过了1750亿参数的GPT-3。模型参数量缩小100倍，效果反而更好。这让行业意识到除了扩大模型，优化训练方法也能带来巨大提升。谢青池说这是ChatGPT的序幕。

2024年Tulu 3。AI2，Nathan Lambert一作。用Llama 3.1做后训练，公开模型权重、全部流程、数据、代码、配方。结果比Llama 3好，比GPT-4o可以比。想了解后训练过程可以看这个材料。

多模态：如果模型不能适应数据，就让数据适应模型 3:08:08

2014年DeepVideo。李飞飞团队，Andrej Karpathy还是她的博士生。视频计算量比图像大，一秒钟24帧，帧和帧之间信息差异小，信噪比差。他们建了100万个YouTube视频的数据集，用ImageNet预训练好的CNN做基础。但结果不好，看视频和看单帧相比，正确率只从59.3%提高到60.9%，提升1.6个点。

同年双流网络。Karen Simonyan，牛津。视频分成时间流和光流。光流是第一帧和第二帧做减法得到的运动信息，像漫画里人飞起来的影子。过去模型只能对空间信息建模，现在能对运动信息建模。双流网络第一次在视频理解上超过最好的手工特征模型。Karen也是AlphaGo Zero的共同一作。

2014年GAN。Ian Goodfellow。生成器是盗版画家，判别器是警察。画家想骗过警察，警察想把真假分开。判别任务比生成任务容易，用判别器的loss来简化生成模型的训练。GAN主导图像生成五六年，2014到2019年底。Ian Goodfellow后来写了《深度学习》花书。

2015年Diffusion。Jascha Sohl-Dickstein。从物理扩散过程获得灵感，先建模前向扩散，把一张花逐渐加噪变成白噪声，再学逆向过程恢复结构。用高斯分布刻画，好计算。但当时效果差，发出来被冷落。Jascha后来说，他最不知名的工作是发明扩散模型，很多人以为是DDPM的作者发明的。他学术背景很复合，加州大学伯克利神经科学博士，读博前搞物理，做过向火星发射探测器的工作。后来去了Anthropic。

2020年DDPM。Jonathan Ho。把学习目标从预测完整图像改成预测添加到图像里的噪声，像残差网络学增量。骨干网络用UNet，适合做噪声预测。训练稳定，效果不比GAN差。两年里接近十篇重要工作迭代，1000步降噪改成10步，加潜空间提高效率。Jonathan Ho后来创立Imagen，图像生成模型在榜上常年前三。导师Pieter Abbeel。

2020年ViT。图像是二维的，Transformer处理序列。如果不能模型适应数据，就让数据适应模型。把图像切成16×16的patch，编号排成序列，embedding以后用Transformer处理。标题叫An Image is Worth 16x16 Words。这个方法只有大数据才比CNN好，数据不够时比不过。但它能享受完整的Transformer生态和库，反而消耗更少计算资源。

2021年CLIP。Alec Radford一作，Ilya在列。用互联网上的图文对做对比学习，4亿对。模型学会了认识夕阳、鸟，没有单独标注。它把鸟的单词embedding和鸟的图片embedding映射到相近的位置。通用表示可以做图像识别，也可以做文生图。之前的扩散模型能生图，但控制不了生什么。CLIP让文生图成为可能。

2021年Stable Diffusion。潜空间压缩。过去扩散模型在像素空间工作，1080×720的图就是1080×720维，4K更大。Stable Diffusion把图像压缩到128×128的潜空间做扩散，计算资源少两个量级。压缩不但提高效率，还提高效果。谢青池说，压缩可以产生智能，像费曼学习法，把书从厚读薄就是学习。低维空间已经足够包含玫瑰的规律。它还引入交叉注意力，把CLIP的文本编码作为条件输入UNet，让模型能被人类语言控制。Stable Diffusion开源后点爆AIGC产业链。

2022年DiT。William Peebles，当时在纽约大学，后来加入Meta。把扩散模型的UNet骨干换成Transformer。Transformer是抽中硬件彩票的架构，能享受生态的可扩展性、鲁棒性和效率。标题叫Scalable Diffusion Models with Transformers。Sora被认为用了很多DiT的想法。

边界、等待与建议 3:56:38

张小珺问谢青池，听完的感受是架构创新需要硬件适配，架构创新也要同步硬件创新。谢青池说，有一种可能性是硬件先发展，发展到一定程度成为很好的计算平台，新算法应运而生，才能占有硬件的性能。现在有科学家在探索存算一体的计算范式，如果成功，未来可能诞生新的模型结构。

他还说，AI研究是一步一步走向新世界的。姚舜宇在那期节目里说过，没有哪一篇论文最有影响力，它们彼此依赖，共生推进。谢青池本来想找十篇论文讲清楚深度学习史，最后发现要三十多篇才能还原，去掉好几篇就不完整。

读论文的动力是什么。他说是好奇心，想了解AI的边界在哪里，产品经理习惯先了解边界再求最优解。头两三个月很痛苦，云里雾里，经常看着论文睡着，只有大学考研时有过这种体验。度过平台期以后，读论文会让人享受，因为你能知道日常用的AI工具为什么这样、为什么好用、为什么不好用。他知道模型为什么数不清strawberry里有几个R，因为模型识别的颗粒度是token，模型训练时根本不知道什么叫字母。知道这些边界，就能把模型用得更好。他身边把模型用得最好的人都是研究员，有人告诉他某个方法可以用，因为训练数据集的分布里有这个东西。他也开始这样思考，模型见没见过，有没有被训练到，有没有可能泛化。他试过把会议转录稿整段交给Gemini，告诉它你是一个很好的同声传译员，有某个领域的背景知识，请纠正语言错误。效果非常好，过去整理一份重要会议纪要要一整天，现在30秒。

他获得边界答案了吗。一部分。有些部分人类也还没获得，技术还处在浪潮早期。他能大概知道一个模型能干啥、不能干啥，解决不好能猜到原因，有训练资源时能做一些纠正。更重要的一点是，对AI和模型的了解让他觉得等待有意义。有些团队在模型能力不够的时候，用手工特征做SFT，收集数据、训练、评估，三四个月提升一点，又过两个月开源模型自己就提升了。他现在愿意等，知道这个问题五个月或六个月后模型能解决，可以心安理得等，也能说服同事和老板先不做。他举了个客服的例子，当时手里没有端到端的语音模型，用pipeline转接，国外模型能力够但时延接受不了，国内DeepSeek V3和千问2.5差一点，80%情况够用，20%覆盖不了。等了三个月，千问3出来，最大那个模型解决了问题。

读论文反而让他没那么焦虑。AI新闻每天都有，但读论文能了解更长期的东西。他看DeepSeek关于稀疏注意力的论文，知道有一群很强的人在解决注意力机制的固有问题，就可以等，再过一年上下文窗口涨十倍甚至百倍，learning的计算成本降一个量级，很多事情就能做。现在据此构建产品，接受它的不完美，因为产品也需要时间，等产品履历走完，模型能力也到位了。

模型能力到天花板了吗。他比较乐观。行业还有很多地方做得很粗糙，在拼命堆效果、堆资源，资源也还没有枯竭。预训练数据看起来枯竭，其实生成数据也能做得很好。test-time computing还有很大空间。读懂以后他更乐观，因为过去更糟糕，十年前0.1B的模型被当成超大模型，现在觉得好小。

给站在AI世界门外的人三个建议。第一，多用AI，把AI用好是很稀缺的技能，需要熟悉模型，经常用才会熟悉。第二，学一些编程，有一定工程能力，最好有生产环境的工程能力。以后可能不会有那么多细分分工，更多是builder，为端到端的结果负责，一个人至少能负责解决一个问题。第三，读读论文。AI是很长周期的技术浪潮，还处在很早期，了解原理有机会跟它一起做更深的成长。读论文是给自己打开一扇门，进入这扇门以后能看到一个不一样的世界，有挑战，但没有那么难。

给已经在体系里工作多年的人的建议是，去承担更多职责。产品同学做一些工程事情，工程同学做一些产品工作，了解彼此的工作方法、工具和目标。大公司分工很细，踩到别人领域会有挑战，但值得试一下，端到端的反馈很直接，能让人很快成长。超级个体会成为趋势吗。他说不知道。小团队在一些服务上能做得更好，机会比过去大。他们团队希望每个人首先是工程师，然后才是产品经理。这种要求比当年的Google容易十倍。人少了沟通成本降低，进一步推动人变少。但复杂的生意仍然需要更多人，Telegram只有40个人服务10亿用户，美团在这个阶段很难用那么少的人服务那么多客户。

OpenAI会超越Google吗。他说很难回答，但Google比他想象的表现好。去年在湾区跟Google的朋友聊天，很多人没那么有信心，原因是Google人太多了，人才太多。现在Google在逐渐梳理这件事，有人才底蕴、工作能力和Infra设施，在这个时代很有机会。OpenAI看上去在做超级APP，如果把很多物理世界的API通过MCP连接起来，那就不只是lab，如果做成操作系统会非常不一样。今天还属于早期，比起电脑的发展，大概处在个人计算的前期。