BotPsy:端侧个人助手的亚十亿参数Agent模型

云端前沿 LLM 的运营成本高且可能意外波动,第三方模型也可能被提供商随时修改、拒绝或弃用;专有模型对特定工作流的定制有限,还带来隐私、数据控制与透明度风险。并非所有任务都需要前沿级智能,小模型在特定任务上同样胜任,成本也更低。在此背景下,Tether AI Research 发布 BotPsy,一个 0.8B 参数模型,基于 Qwen3.5-0.8B,面向函数调用和 agent 工作流,适合端侧部署。它定位为“个人助理”,用工具完成网页搜索与研究、旅行与生活、商业与金融、业务与客户运营、设备与车辆控制、文件与文档、日历、邮件与消息等任务;参数规模小,最适合低到中等难度任务。

训练分四个阶段:SFT、多教师 on-policy 蒸馏(MOPD)和两轮 RL。SFT 在工具对话上做全参数微调,数据包括模拟环境的多轮 agent 轨迹、重放的单次/并行/多步调用,以及不应调用工具的情况。MOPD 阶段由三位 Qwen3.5-4B 专家教师(分别专攻工具使用、通用推理、指令跟随)对学生的逐 token 输出给出反馈,用反向 KL 散度作为训练信号,主要恢复 SFT 中下降的知识和指令跟随能力。两轮 RL 采用 DAPO 框架,只从规则和验证器计算的奖励学习:第一轮聚焦工具调用,按 Tool-N1 的思路先检查推理和调用格式,但改用 ToolRL 风格的细粒度部分奖励,匹配工具名、参数名与参数值;第二轮加入数学、代码、知识选择题、指令跟随、结构化输出和模拟工作环境中的多步工具使用,虽然不含多轮对话,却进一步改善了多轮函数调用。

工具与 agent 结果:BotPsy 在六个基准中的五个上领先所有参数量不超过 1.2B 的对比模型,也领先 2.5 倍大的 Qwen3.5-2B-Think。相对基座的提升:BFCL v4 从 23.4 升至 44.0,ACEBench 从 30.1 升至 58.7,τ-bench 从 23.2 升至 51.5,ToolSandbox 从 30.5 升至 64.6,BrowseComp-Plus 从 1.9 升至 4.5;只有 Claw-Eval 上 Qwen3.5-2B-Think 以 48.9 领先 BotPsy 的 46.5。多轮有状态交互增益最大:BFCL v4 多轮从 7.5 跳到 46.1,接近 Qwen3.5-2B-Think(23.8)的两倍;τ²-bench 电信场景拿到 82.5,高于基座和更大模型。它也知道何时不该调用工具:BFCL v4 幻觉测试 86.1,为所有测试模型最高;ACEBench 特殊场景(请求不完整、参数错误等)从 13.7 升至 51.3。按应用场景看,单次调用整体稳定,简单场景得分 70–79(总体 75,基座 54,Qwen3.5-2B-Think 70);复杂多步场景总体 39.5,远高于基座 17.9 和 2B 模型 30.8,但多步任务整体仍低于单轮调用,复杂信息检索与研究是最弱项,只有 15(单轮 79)。

指令跟随与知识没有因工具训练而牺牲:IFEval 从 59.7 升至 90.8,IFBench 从 22.0 升至 55.9(测试模型中最高);GPQA Diamond 从 33.2 升至 38.1,MMLU-Pro 从 41.6 升至 48.9,均为 ≤1.2B 参数量模型中的最佳。但知识仍主要随参数量扩展,Qwen3.5-2B-Think 在 GPQA Diamond 和 MMLU-Pro 上明显更高,因此 BotPsy 的定位是调用工具获取未知事实,而不是充当知识模型。

效率与安全也有具体数据。在五个模型都能答对的题目上,BotPsy 的推理 token 远少于基座:GPQA Diamond 3,690 对 11,563,MMLU-Pro 1,912 对 5,105(分别约为基座的三分之一和 37%);重复推理循环率从 22.9% 降到 1.4%,跑到 32k token 上限的占比从 28.3% 降到 0.2%。多轮任务中,τ²-telecom 已解决任务的助理轮数从 17.6 降到 13.1(少 26%)。自动红队测试下,BotPsy 在六类危害中不安全响应比例为 21%,低于基座 36%,也是 ≤1.2B 参数量模型中最低(LFM2.5-1.2B-Think 35%,MiniCPM5-1B-Think 47%);提示注入攻击下不安全率从基座的 46% 降到 31%。

发布方面,BotPsy 以开放权重形式、Apache 2.0 许可发布,面向研究与教育用途,提供 bf16、Q8、Q4 三种精度,包括 Hugging Face safetensors 和 GGUF 格式(后者用于 QVAC SDK 与 llama.cpp)。它主要用英语训练与评测,Multi-IF 覆盖的七种附加语言里,印地语和俄语分数明显偏低。作为小模型,BotPsy 仍会犯错,不适合安全攸关或高风险的自动决策,也不适用于涉及金钱、个人信息、健康等敏感领域的应用。

BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model

查看原文