LFM2.5-24B-A2B:设备端快速私有Agent模型

LFM2.5-24B-A2B 是 Liquid AI 发布的 24B 参数推理模型,但每个 token 只激活 2B 参数。定位很明确:在用户自己的硬件上连续运行快速、私密的 agent。它在回答前会生成思维链,能调用工具,也能在常见 agent harness 里处理多步任务。由于激活参数少,推理 token 的成本低,这让设备端持续运行成为可能。

架构上它延续 LFM2-24B-A2B:40 层,每个 MoE 块 64 个专家、top-4 路由,混合 gated short convolutions 和 GQA。上下文窗口从 32K 扩展到 131K,词汇表从 65K 翻倍到 128K,改善非拉丁语的 tokenization。与前代不同,它只做推理,会在最终答案前输出显式思维链。

训练规模明显加大。预训练从约 17T token 增加到约 33T;中期训练加入 32K 上下文下的 2T token(侧重推理、数学、代码、指令跟随和多语言)以及 131K 上下文下的 300B token(侧重长上下文)。工具调用和多轮轨迹在中期训练的两个阶段中都有出现。后训练分五步:SFT、teacher specialization、两阶段 MOPD(非 agentic 和 agentic),最后在 OpenClaw、Hermes Agent、Pi、OpenCode 等 harness 里做 Agentic RL。

在 16 项基准上,它与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it、Nemotron-3.5-Lightning 对比,是参数最少的一个,但表现不落下风。工具使用和 agentic 方面,LiveClaw 得 48.09,对比 Qwen 的 38.19;AutomationBench 得 27.69,是次优模型 8.72 的三倍多。BFCLv4、ToolSandbox、τ³-Bench Banking 也领先或持平。指令跟随的 IFEval、IFBench、Multi-IF 三项全部领先。但知识密集(GPQA Diamond、HLE、AA-Omniscience)和编码(SWE-Bench Verified、SciCode)上,更大的模型仍有优势,官方建议知识密集场景搭配检索或网络搜索。

推理速度上,Apple M5 Max 上 184 tok/s,Ryzen AI Max+ 395 上 114 tok/s,速度最高为次优模型的 1.7 倍,内存占用最少;单块 NVIDIA B300 高并发下输出超过 21K output tok/s。发布当天就支持 llama.cpp、MLX、vLLM、SGLang、ONNX。使用上只需 transformers>=5.0.0 加载模型,或通过 OpenAI 兼容后端接到 Hermes Agent 等 harness,端口按后端区分(llama.cpp/MLX 用 8080,vLLM 用 8000,SGLang 用 30000,LM Studio 用 1234)。模型以开放权重发布在 Hugging Face。

Run fast, private agents on-device with LFM2.5-24B-A2B

查看原文