非小号appGPT 4o-mini华人领队离开OpenAI：真正推动AI进步不是

　　2025年7月，公司创历史完成约20亿美元的超大额早期融资（a16z领投），估值约120亿美元。

　　Kevin Lu是强化学习与小模型方向的研究者，本科就读于加州大学伯克利分校，在OpenAI期间专注强化学习、Small Models与合成数据。

　　Kevin Lu在小模型与合成数据上的实践经验，有助于Thinking Machines缩短从论文到用户价值的距离。

　　深入浅出的讲明白一个事情：与其反复抠架构，不如扩大、丰富、贴近现实的数据来源（如互联网）与数据消耗方式，否则模型始终「见得少、懂得少」。

　　虽然AI的进步常被归功于一些里程碑论文——比如transformers、RNNs、diffusion——但这忽略了AI最根本的瓶颈：数据。

　　受架构创新带来的快速进展启发（5年间从AlexNet到Transformer），许多研究者一直在寻找更好的架构先验，寄望于设计出「优于Transformer」的新架构。

　　事实上，Transformer之后确实出现了一些更好的架构；但为什么自GPT-4以来，我们很难「切身感到」这种改进？

　　真正重要的是把数据尽可能高效地塞进模型里；这些方法不仅效果更好，而且似乎「越大越灵」。

　　研究模型架构当然不是没用。社区在Transformer之后开发出了更好的方法，比如SSMs与Mamba等。

　　但它们并非「免费的胜利」：在给定训练算力下，训练一个Transformer往往能得到更优性能。

　　因此应选择推理阶段更优的方法，可能是某种「次二次注意力变体」（subquadratic attention variant）。

　　设想我们不只关心推理（可以理解为「产品」），而是关心渐近性能（可以理解为朝着AGI迈进）：

　　目前两大主流范式是：（1）下一个token预测（NTP）与（2）强化学习（RL）。

　　原生多模态（如GPT-4o、Gemini 1.5）：用下一个词预测吸收互联网的图像与音频。

　　就「下一个token预测」而言，互联网是完美的解决方案：它提供了极其丰富的、按序相关的数据，正好适合序列建模去学习。

　　互联网充满了结构化HTML的「序列」，天生适配下一个token预测；按不同顺序重构，可以涌现多种有用能力。

　　这不是巧合：这种「序列数据」对下一个token预测近乎完美；互联网与下一个token预测相辅相成。

　　Alec Radford在2020年的一个先见之明的演讲中指出：尽管当时提出了很多新方法，但都不如「扩大与整理数据」重要。

　　我们从「寄望更好方法带来神奇泛化（比如损失函数暗含句法树）」，转向一个朴素原则：模型没被告知的事，它当然不知道。

　　与其通过打造大规模监督数据集去「硬性指定预测目标」，不如设法让模型从「外部的一切」中学习并进行预测。

　　每次我们做一个数据集，就像是把「世界上其他一切」的重要性设为0、把「数据集内的一切」的重要性设为1。

　　低数据。在低数据范式里，Transformer可能一文不值：其「架构先验」不如CNN或RNN，因此表现应更差。

　　书籍。较不极端的情况是：若无互联网，我们可能用书籍/教材进行预训练。教材常被视为人类智慧的巅峰：作者受过良好教育，字斟句酌。这代表一种信念：「高质量数据胜于大数量数据」。

　　教材与Phi。Phi系列（「Textbooks Are All You Need」）在小模型上表现出色，但仍要依赖在互联网训练的GPT-4做过滤与合成。

　　总体看，Phi很不错，但尚未证明能达到以互联网数据预训练模型的渐近性能；且教材缺少大量现实世界与多语言知识（不过在算力受限下它们很强）。

　　可把「教材」视作可验证奖励（表述几乎总是真），而「书籍」（尤其是创作类）更像是「人类偏好」，能赋予学生模型更强的风格多样性。

　　就像我们可能不会让o3或Sonnet 3.7替我们写作一样，只在高质数据上训练的模型可能缺少某种创造性「火花」。

　　因此Phi的PMF（产品市场契合）并不理想：需要知识时，人们偏好大模型；要本地「角色写作」，人们也不太会选Phi。

　　一些研究者可能觉得「为了研究进步要转向产品」很奇怪（甚至是干扰），但如果我们关心AGI对人类有益（而不是像AlphaZero那样在真空中聪明），就该考虑AGI的形态（产品）。

　　它承载了大量视角、文化模因和低资源语言；若用大模型在其上预训练，便能得到理解广博知识的智能。

　　若削弱互联网多样性，模型在做RL时的「熵」（信息多样度）会显著变差；若删除数据，AGI中的整个亚文化都可能被抹去。

　　对齐。有非常有趣的结果表明：为了得到对齐的模型，必须同时在对齐与未对齐数据上预训练，因为预训练会学到二者之间线性可分的方向。

　　如果去除未对齐数据，模型就难以理解「什么是不对齐，以及为何这是不好的数据」。（有点善恶共存，无善无恶的味道了）

　　在含10%有毒数据+人工引导上预训练的模型，比在0%有毒数据+引导上预训练的模型更不毒。

　　特别是，上述「有毒」数据来自4chan，这是一个匿名在线论坛，以其无限制的讨论和有害内容而闻名。

　　尽管这是一个产品与研究之间存在紧密联系的特定案例（我们需要这种无限制讨论来实现对齐的研究模型），但我认为你可以想到更多类似的案例，其中互联网的设计决策在训练后影响了最终结果。

　　必须牢记：人们确实想使用互联网，而这些有用性质都是与「互联网这一产品」互动的涌现结果。

　　如果我们总是手工整理数据，就会出现「被整理的内容」与「用户觉得有用的能力」之间的二元对立。

　　「人们想使用互联网」的另一半原因是：人均成本足够低，才能普及并汇聚数据。若互联网需要昂贵订阅，就不会有大规模数据贡献。

　　人们常在「扩展性」讨论里忽略这一点：互联网是那个能扩展学习与搜索（数据与计算）的简单理念。

　　互联网对监督式的下一个token预测是如此完美的补充，以致我们甚至可以强说：给定互联网这个「底座」，研究者几乎必然会收敛到下一个token预测。

　　因此，提出新的「产品」点子可能比提出新的「学习范式」更容易。这引出问题：那强化学习的「对偶」是什么？

　　现在有一些想法，但各有缺陷。它们都不算「纯研究」，都涉及围绕RL打造产品。

　　最后一评：先牺牲一些多样性也可以——在自家产品里用RL优化指标（游戏、自动售货机、留存/利润/参与度等）。

　　这可能有效，但难点在于：如何把它「升格」为一种多样化、可扩展的奖励宇宙，从而引发范式级跃迁。

　　总之，我们还远未找到一个像「互联网之于NTP」那样优雅且高产的「RL对偶」。

　　最后，Kevin Lu再次强调，在训练里，模型只「看到」数据集里的东西；集外的世界等于被忽略（0 权重）。

　　原标题：《GPT 4o-mini华人领队离开OpenAI：真正推动AI进步不是模型架构，而是互联网》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。