发布面向智能体的物理工程终极考试(PLE)

谷歌 AI 与基础设施团队联合 Mercor,发布了一个新基准和开放竞赛:Physical-Engineering’s Last Exam(PLE)。它的目标是测试前沿模型完成机械、电气、土木和结构工程任务的能力。团队同时放出 29 个公开任务、评分工具和开放竞赛排行榜,地址是 ple-bench.com。

这个基准的定位很清楚。Humanity’s Last Exam 测模型常识,Agents’ Last Exam 测数字专业工作,PLE 测的是建造物理世界的工作。物理工程师设计摩天大楼、电网和芯片,但此前没有现成基准能端到端测试模型能否做这些事。现有学术基准让前沿语言模型得分普遍超过 90%,但它们大多只考教科书式问题、单次工具调用或小型封闭设计题。它们回答不了:agent 能否在持证工程师审查和控制下,产出安全、合规、成本可控的设计?

PLE 共 85 个长周期任务:机械 30、电气 27、土木 18、结构 10。每个任务平均 61 个文件,整个基准共 5170 个文件,包括 PDF、电子表格、邮件、2D CAD 图、3D BIM 模型和文档修订。agent 在一个容器化项目文件夹里工作,环境基于 Mercor 的 Archipelago。它需要自己读取文件、找出适用建筑规范和物理限制、做计算,最后生成可供持证工程师审核与批准的生产级交付物。

任务由两条路径构建。专家编写 44 个:执业工程师根据真实职业任务创建项目文件夹、提示词和评分标准。共同编写 41 个:工程师先设计初始任务,由 agent pipeline 根据可许可的工程标准组装环境和评分器,工程师再验证并提高难度。

团队用 7 个公开 agent harnesses(Antigravity、Claude Code、Codex、Hermes、OpenCode、OpenHands、Pi)测试了 14 个前沿模型。评分同时考虑规范合规与成本效率,但 agent 必须先通过所有硬安全检查才能得分。结果是所有模型在私有测试集上得分都低于 50%,最高分模型用其原生 harness 跑出平均 48.3%。更具体地说,顶级 agent 配置在共同编写任务上满足了 91% 的单项约束,但只有 41.3% 的交付物通过全部硬安全和可行性检查。模型选择对成绩的影响远大于 harness——不同模型之间的差距最高 50 分,同一模型换 harness 的中位差距只有 3 分,但 harness 会显著影响运行成本。

如果想试,完整技术细节在 arXiv 论文里;29 个公开任务、评分脚本和评估容器在 GitHub 仓库。你也可以把自己的 agent 提交到 ple-bench.com,在私有测试集上评估。官方提供 13 个 Google 赞助的模型,免费跑在服务器上,奖品细节稍后公布。

Introducing Physical-Engineering’s Last Exam for agents

查看原文