
欢迎 Le Chonk:Mistral Large 4 上线

Mistral 在 Hugging Face 上发布了 Mistral Large 4,代号 Le Chonk。这是一个多模态、多语言的混合专家模型,输入文本和图像,输出文本。总参数约 1T,激活参数 49B,上下文窗口 1M token。官方提供 FP8 与 NVFP4 两个变体,另有 Unsloth 和 llama.cpp 团队制作的 GGUF 量化版。许可证为 Mistral Ecosystem Open-Weight License,属于 MIT 衍生许可,对 model-as-a-service 形式的提供服务设有限制。
模型同时使用两种稀疏机制:语言模型对每个 token 只激活一小部分专家,注意力索引器则选择要关注的历史位置。文本解码器共 72 层,隐藏维度 6144,64 个注意力头。注意力块结合了 MLA(压缩 KV 表示)与 DeepSeek Sparse Attention 索引器,每个 query 最多选择 2048 个关键位置。层间共享 KV 状态,采用 3:1 的 RoPE 与 NoPE 交替模式。除第一层为密集 FFN 外,其余 71 层都是 MoE:softmax router 从 128 个专家中为每个 token 选 4 个,外加一个常驻共享专家,实际每 token 激活 5 个专家。视觉端使用 1.6B 参数的 Pixtral 编码器。
网络安全是它的重点能力。在 Artificial Analysis Cyber Index 的“复现开源软件真实漏洞并修复”测试中,Mistral Large 4 得分 82%。Mistral 报告称,多个闭源前沿模型在此测试上接近零分,原因是它们拒绝动手。内部测试显示,模型在恶意软件分析、漏洞优先级排序和检测规则编写上也有作用,尽管并未专门针对这些任务训练。Mistral 主要将其定位为防御性安全工具;开放权重意味着使用策略和部署环境都由用户控制,不会在事件中因 API 依赖而中断。模型仍会拒绝有害请求,在来自 JailbreakBench、StrongREJECT 和 AgentHarm 的网络安全提示上,平均拒绝率高于其他开放权重模型。
基准表现方面,截至 2026 年 10 月 29 日,它是 Artificial Analysis Intelligence index 上第五佳的开放权重模型。编码相关:DeepSWE v1.1 拿到 61.7%,SWE-Atlas-QnA 59.4%,Terminal-Bench 4 为 28.3%,综合 Coding Agent Index 49.8%,超过 DeepSeek V4 Pro 0813 和 Qwen3.8 Max。知识工作类:AutomationBench 59.9%,AA-Briefcase 达到 1393 Elo。网络安全方面,Cybench 上解决了 40 个挑战中的 93%,Lakera B3 基准的攻击抵抗率为 93.3%。
推理支持做到了发布当天可用:transformers、vLLM、llama.cpp 均支持。Transformers 提供 AutoModelForMultimodalLM,reasoning_effort 可设 low/medium/high,默认 high,且推理不可关闭。vLLM 支持 NVFP4 检查点(需 NVIDIA Blackwell GPU),并带 DSpark drafter 做投机解码。llama.cpp 提供从 2-bit 到 BF16 的 GGUF 量化版,2-bit 版本可在单台 512GB Apple Silicon Ultra 上运行,其余需要多卡分布式。实测单台 M3 Ultra 上 Q2_K prefill 约 90 tok/s,生成 15 tok/s;4 块 RTX6000 Pro 上 NVFP4 在 32K 上下文下 prefill 为 130–590 tok/s,生成约 10 tok/s;IQ2_XXS 支持 800K 上下文,短上下文下 prefill 500 tok/s、生成 30 tok/s,长上下文会降至 129 tok/s 和 3 tok/s。
微调方面,TRL 提供 day-0 支持,官方示例在 8 块 B300 上用 FP8 变体训练多语言思考。Inference Endpoints 上有 8 块 H200 的部署方案:vLLM 加载 FP8 权重,tensor 和 expert 并行,DSpark 投机解码,支持 131K 上下文和 16 并发请求。实测单请求 1K token 提示的首 token 时间约 0.6 秒,生成约 65 tok/s,聊天场景中 DSpark 草稿被接受时可达 120–138 tok/s;16K token 提示四并发时 prefill 合计约 4300 tok/s,首 token 时间 8–9 秒;1000 条 ShareGPT 对话负载下总生成约 480 tok/s。Dell Enterprise Hub 也提供了针对自家 AI 服务器的部署配方。
对社区开发者来说,开放权重意味着可以围绕自己的代码库、崩溃日志和恶意软件样本构建安全系统,也可以用 TRL 从 Mistral Large 4 的追踪数据微调更小的模型。reproduce-then-patch 这类任务有可验证的奖励信号,适合继续做强化学习。研究者还能直接测量模型的拒绝行为,不必依赖供应商描述。权重可在 Hugging Face 的 Mistral Large 4 collection 中获取。


