EvalEval与Hugging Face评测互通:让AI模型分数可追溯

AI模型评测结果现在散落在论文、博客、排行榜和日志文件里,同一个模型跑同一个benchmark,因为没人统一记录评测参数,得分能差出十几个点(比如LLaMA 65B在MMLU上被报过63.7和48.8)。这种混乱让用户不知道该信哪个数字,研究者没法对比,安全决策也建立在沙子上。

EvalEval联盟搞了个叫Every Eval Ever (EEE)的标准化JSON schema,强制记录谁跑的、哪个模型、怎么访问的配置、生成参数、以及指标含义。他们还跟Hugging Face的Community Evals打通了——EE存完整结构化的记录,Hugging Face在模型页面上展示分数并附带来源链接。你提交一次评测,两边自动同步,还能在EvalEval上拿到蓝V验证标记。目前他们的数据仓库已经吞了31种来源的22.9万条评测结果,如果自己重跑一遍,成本得花几十万美元。

这件事的价值不在于又吹了个新标准,而是它解决了评测生态里一个很实际的信任基础设施问题。以前你看到一个模型分数,得花时间翻论文找配置。现在一个JSON对象就能回溯全部参数,社区还能通过PR往任何模型上提交分数,模型作者自己也可以审核。这有点像早期开源社区用package.json统一了依赖管理——EEE和Community Evals的组合,正在把评测从“论坛灌水”变成GitHub PR那样的透明协作

Featuring Every Eval Ever Results on Hugging Face Model Pages

查看原文