大型机曾走向个人电脑,你的数据中心也会如此

云端AI推理不再是日常问题的唯一答案。一项覆盖超过100万条真实查询、20多个本地模型的测试表明,本地AI模型已能在89%的日常聊天与推理问题上达到前沿云端模型的水准。这意味着同样的电力正在产生更多的智能产出,行业正从关注性能功耗比转向关注智能功耗比。

本地模型的进步速度远超硬件。2023年,最佳本地模型对前沿模型的胜率或平局率仅为23.2%,2025年就攀升至71.3%,每年提高约20个百分点。到2026年,由另一个本地AI为任务挑选的最优本地模型,这个数字将接近90%。

智能功耗比在同期提升了5.3倍,其中更优模型贡献了3.1倍增益,更新芯片贡献了1.7倍增益。值得注意的是,GPU效率提升的速度比Koomey定律描述的历史趋势更慢,过去15年约每2.7年翻一倍,而不是每1.5年。但这并未阻挡本地智能的崛起。

云端仍然不可或缺,尤其在多步推理、高难度技术领域以及需要规模化与并行化的场景。云端推理的能源效率高出本地模型约40%,因为数据中心可以对查询进行批处理,这是当前单个用户独占的本地硬件无法做到的。

但对于绝大多数日常知识工作,数据中心的往返已无必要。本地模型配合一个路由选择器,足以应付绝大多数任务。相比纯云端方案,这种组合可削减80%的能耗、77%的计算量和74%的成本。

从大型主机走向个人电脑是性能功耗比驱动的转变,而智能功耗比正引导AI走向边缘。本地模型不但更聪明,而且更省,日常使用中将越来越难以感知到云端的在场。

Mainframes became personal. So will your data center.

查看原文