混合模型比Transformer强在哪？逐token对比揭晓答案
现在的语言模型评测都看平均loss，但这个数字太粗糙了。文章直接点出痛点：一个模型对不同类型的token表现差异巨大，只看总loss完全无法区分它是擅长理解语义还是擅长抄写原文。比如一个混合模型可能在理解代词指代上比Transformer强一大截，但在预测一个刚才出现过的重复词时，两者几乎没区别。如果不拆开看，这些关键能力差异就被平均掉，导致我们错误地认为两种架构差不多。
解法极其干净。他们把自家精心控制的Olmo 3（纯Transformer）和Olmo Hybrid（混合架构）做了逐token对比，保证数据、分词器、训练策略完全一样，最后把差异归因到架构本身。结论很清晰：混合模型在实义词（名词、动词、形容词）和需要追踪上下文状态的token（如代词指代）上优势明显；而在做简单复制粘贴任务时，Transformer依靠注意力层反而有微弱优势。他们甚至发现一个非常有趣的案例——闭括号的预测，混合模型优势几乎消失，因为这项任务靠注意力的一对一匹配就足以完成。
最让我觉得有价值的是他们提出的新评测方法论：不再用一个总loss值，而是按token类型做分组过滤的loss来看差异。他们用1B参数的小模型展示了，这种细粒度loss在训练早期就能暴露不同架构的优劣，比如纯RNN在重复token上明显落后，而在意义承载类token上却能和混合模型一起甩开Transformer。这告诉我们，未来评测模型应该像做体检一样分项检查，而不是只看一个总分。这个思路对架构设计和预训练实验的指导意义很大。
