ScarfBench: 评估AI代理的企业Java框架迁移基准

企业Java框架迁移是软件工程里最贵、最头疼的事之一。换框架不只是改注解，还得保证行为不变、构建系统能用、运行时依赖不乱。现有的AI代理评测（比如修Bug或写代码）完全覆盖不了这种复杂度——它们只看代码对不对，根本不关心最终能不能部署跑起来。结果是，很多号称能自动迁移的方案在真实企业场景里根本靠不住。

ScarfBench的解法很硬核：它要求迁移后的应用必须真正通过构建、部署和行为验证，而不是跟参考答案比对。基于34个真实企业Java应用、204条迁移任务，评测发现最强的代理（比如Claude Code）行为成功率不到10%，而且代理自己报告的状态完全不靠谱——它说成功的往往实际跑不起来。迁移过程不是线性翻译，而是一场迭代的依赖排查战，配置层被反复修改最多次，Docker缓存、端口冲突这类环境问题也频繁卡住进度。

这个基准给我的启发是：框架迁移最大的坑根本不在代码层，而是藏在配置、基础设施和运行时依赖织成的网里。AI代理目前能自动化一部分体力活，但离真正自主现代化还差得远。独立构建验证和架构推理能力必须跟上，否则代理越自信，项目翻车风险越大。ScarfBench把这些问题摆到台面上，给行业一个标尺去衡量真实进步。