主动Agent评测新框架：用有限状态机模拟真实用户行为

现在的AI Agent基本都是被动响应式的，你下指令它执行。但理想的数字助手应该能主动发现你的需求，比如看到你日程冲突自动调会议，或者发现你常看的网页更新了就推给你。开发这种“主动Agent”最大的障碍不是模型能力不够，而是缺乏真实的评测环境。你没法在真实App上让Agent瞎操作，但传统的仿真方法又太弱了，把App当成一个扁平的API集合，完全忽略了用户操作是有状态的、有上下文的——你点完设置再点返回，页面状态和第一次打开完全不同。这篇文章提出的Pare框架，核心就是把App建模成有限状态机，每个状态对应不同的可操作动作，用户模拟器可以在不同状态间导航，这就让仿真有了“上下文感知”的能力。

解法其实很直接，但他们做得非常扎实。Pare不是又一个纸上谈兵的benchmark，而是先构建了一个可编程的框架，把Google Calendar、Gmail、Slack这类数字App抽象成状态驱动的导航图。用户模拟器不再是瞎点，而是根据当前界面状态和任务目标，智能选择下一步动作。比如用户模拟器的目标是“确认下午三点会议是否要改期”，它会先打开日历，查看会议详情，然后根据会议状态（是否有冲突）决定是否触发Agent的干预。基于这个框架，他们构建了Pare-Bench，包含143个任务，覆盖沟通、生产力、日程、生活管理四大类，专门测试Agent的四个核心能力：观察上下文、推断用户意图、选择干预时机、跨App编排任务。每个任务都设计了用户和Agent的完整交互轨迹，作为评测标准。

这个工作的价值不在于具体的benchmark分数，而在于它指出了主动Agent落地的卡点：你得有一个足够逼真的“用户沙盒”。目前的Agent评测大多停留在“给一个指令，看你能不能完成”的被动模式，而主动Agent的核心挑战是“在没人明确下指令时，你该不该动”。Pare用状态机建模的思路，比其他方案都更接近真实数字世界的交互逻辑。未来做主动Agent的产品团队，如果只盯着模型本身调优，不解决评测环境的问题，大概率会跑偏。这个框架提供了一个很好的起点，尤其是四个评测维度（观察、推断、时机、编排），几乎可以当成主动Agent研发的检查清单。下一步值得关注的是，这个框架能不能扩展到更多真实原生App，以及用户模拟器的行为模型能否更接近真实用户的随机性和偏好。