PathMoE：用路径约束放大专家模型的自然聚集

传统的稀疏混合专家模型（MoE）在每个Transformer层独立地为每个token选择专家，这听起来很灵活，但它暴露了一个严重的统计效率问题。想象一下，对于一个有N个专家、L层的模型，理论上存在N^L条可能的专家路径。但实际上，作者发现token在实践中会自发地聚类到极少数与语言功能对应的路径上，这意味着绝大多数路径从未被探索，白白浪费了模型容量。核心痛点在于，当前每层独立路由的设计本质上是低效的，它没有利用好这种自然出现的路径聚集性，导致训练和推理时无法有效压缩模式空间，最终限制了模型的性能上限。

PathMoE的解法非常直接且聪明：它不是设计一个复杂的路由新范式，而是通过在一系列连续层之间共享路由参数，来强制放大这种路径聚集的自然倾向。这样一来，模型在学习时就被迫选择更一致的路径，而不是每层随机组合。作者在0.9B和16B参数规模的模型上测试了PathMoE，结果明确：相比独立路由，PathMoE不仅在困惑度和下游任务上都有持续提升，更关键的是，它产生的路径聚类更集中、跨层一致性更好、对路由扰动也更鲁棒。这意味着模型在更有效地利用参数空间的子集，并且完全消除了对辅助负载平衡损失的依赖，部署和维护也更简单。

这个工作的启发是，它把MoE架构的设计视角从“单层专家选择”提升到了“全局专家路径”的层面。过去我们花了很多精力去优化单层路由的负载均衡，却忽视了路径本身携带的结构信息。PathMoE揭示了一个重要的设计原则：可以通过架构约束来引导和利用模型内部自发出现的模式，而不是单纯依靠数据去无方向地优化。 这对于打造更高效、更具解释性的大模型很有价值。未来设计MoE时，我们或许不该只关心“哪个专家被选”，更应该关心“模型走的是一条什么样的路”，这可能是通往更高效稀疏化的一个关键切入点。