
LifeVal:OpenAI 用日常任务评估模型能力

OpenAI 发布了一个名为 LifeVal 的新评估集,用来衡量模型在普通人日常事务上的表现。ChatGPT 目前每周有超过 10 亿用户,OpenAI 希望它不只是给建议,而是能真正帮人完成找托儿、申请政府服务、做预算、准备上学、改食谱、买菜、设计健身计划这类事。LifeVal 正是为追踪这类能力在过去一年的进展而建。
构建评估的第一步是识别哪些任务最值得帮助。他们参考了 American Time Use Survey 和 Multinational Time Use Study 两份大型时间使用调查,并在此基础上做了一次覆盖 3,995 人的新调查,要求受访者判断哪些环节最希望由个人助理代劳。最终任务覆盖照护、健康、教育、家庭管理、个人财务、购物、获取政府服务等方向。
文章给出了五个任务示例及当前模型得分:搬家后为孩子选定合适的幼儿园(93.1%),洪灾前为邻居组织志愿者并制定行动方案(98.0%),在限定预算、通勤和居住条件下找房并把产权文件放入待审(100%),帮祖孙远程搭好看球方案(96.3%),为刚确诊糖尿病的父母准备第一周照护和餐食计划(90.4%)。OpenAI 表示最新模型在多项 LifeVal 任务上得分很高。
过去一年里,OpenAI 让模型在浏览器使用、电脑使用和 connectors 任务上变得更快、更强、行为更对齐。这些能力扩展了 ChatGPT 可处理的任务类型,也在推动它从聊天工具走向真正的 agentic 个人助理。OpenAI 强调,要想让 AGI 造福所有人,就要把评测从学术知识测试延伸到实际生活场景,衡量模型能否帮人做决策、管好日常责任、完成有意义的事。LifeVal 是他们朝这个方向走出的一步。


