OpenAI 研究主管 Mark Chen 谈 Scaling Laws 和推理模型

OpenAI 首席研究官 Mark Chen 做客 Latent Space，在烹饪韩式豆腐锅和火焰虾的同时，深入讨论了Scaling Laws 是否失效、推理模型 o1 的内幕决策、以及 Evals 的信任危机。核心议题是：当预训练 Scaling 遇到瓶颈，OpenAI 为什么选择押注推理（Reasoning）作为下一个突破方向，以及如何通过强化学习解决“难评分”的长任务。

【Mark Chen】的核心观点是：Scaling Laws 远没有死。 他反驳了“预训练已经结束”的流行说法，认为计算和数据仍然能带来回报，只是需要更聪明的分配方式——比如投入更多算力到推理阶段的 Reinforcement Learning（RL）。他解释了 OpenAI 为什么选择 o1 这条路线：因为很多复杂任务（如数学证明、代码调试）之前没法用 RL 训练，原因是结果难以自动化评分。o1 的“chain-of-thought”让模型自己生成中间奖励信号，打开了新空间。他也直言过度优化像 MMLU 这种考试题导致评测变味，“我们正面临一场 Evals 危机”，太多 benchmark 被刷爆，反而失去了衡量模型真实进步的意义。

关于未来，【Mark Chen】认为“长上下文 + 长期任务”是通往 AGI 的关键瓶颈。他提到，模型未来需要处理数小时的连续任务（比如接管整个购物流程），这对环境交互和错误纠正能力提出了更高要求。值得持续关注的是 OpenAI 在“持续学习”上的尝试：让模型在部署后还能通过在线反馈自我进化，而不是每次都重新训练。如果这条路走通，AI 的开发范式将彻底改变——不再靠刷基准，而是靠工作流中的真实成败来迭代。