开放Claude真实使用数据,支持外部独立研究

Anthropic 公布了一项试点项目的成果:首次让外部研究机构基于其真实用户对话数据,独立开展研究。此前,真实 AI 使用数据集中在少数实验室手中,外部研究者要么依赖实验室自己发布的分析(可能带着实验室自己的视角),要么使用偏向休闲用途的公开数据集,两者都不足以支撑独立研究。为此,Anthropic 开放了内部使用的隐私保护分析工具 Anthropic Insights(原称 Clio),让三个研究团队设计自己的研究问题,Anthropic 代为运行数据收集,研究者独立分析。

试点覆盖了约 25 万段 2026 年 4-5 月的 Claude.ai 或 Claude Code 对话。三个团队分别是斯坦福大学的 SALT 实验室、牛津大学的人类信息处理实验室,以及评估前沿模型的非营利组织 METR。合同只保留对用户隐私、违反使用政策信息、商业机密和研究准确性的审核权,研究结论不受 Anthropic 干预,可以发布对 Anthropic 不利的结果。

研究结果有几个值得关注的发现。SALT 实验室发现,人们把高利害任务交给 AI 的比例超过预期——超过一半的对话涉及委托高后果任务,尤其在法律和财务等专业咨询上。人们通常自己设定方向、监督 AI 产出,近四分之三的对话中人类主导、AI 协助。人类与 AI 协作中普遍存在摩擦,但这种摩擦常常有建设性,能促使人们澄清意图、改进产出。牛津团队发现,AI 的行为与人的感受高度相关:Claude 表现热情时,人更积极;Claude 拒绝或反对时,人会回推;Claude 古怪时,人反而更投入。人类在 AI 互动中的投入、挫败感、愉悦度等模式,与普通网络浏览行为高度相似。METR 的初步结果显示,更新的 Claude 模型比旧模型能节省用户更多时间,且 Claude 自己估计的任务耗时与开发者实际完成时间有较好相关性。METR 还在继续研究 AI 对科研工作的加速作用。

Anthropic 团队从运行试点中总结了几条经验。第一,让外部研究者从不同角度研究同一问题很有价值,例如 METR 的研究与其内部经济学研究有重叠,双方连线后都受益。第二,内部有效的研究方法需要调整才能适配外部合作——Anthropic Insights 依赖 Claude 对每个对话的问题判断并聚合,问题措辞不当会导致分类误导,内部可以花数周迭代问题,但外部合作受限于隐私审查无法这样,于是改用公开数据集 WildChat 测试问题,但 WildChat 偏向休闲和创意用途,与真实 Claude 流量有偏差,部分问题在真实数据上产生误导分类。第三,透明与防范滥用需要平衡:一些分类暴露了用户违反使用政策的行为,Anthropic 选择公布大部分,但删去了描述如何绕过安全措施的分类,每个研究中受影响分类和对话不到 5%,并会告知研究者。整个试点运行比预期更慢、更耗资源,对规模化构成挑战。

Anthropic 认为,理解 AI 对社会的影响不能只靠 AI 公司本身,需要外部研究者的独立审视。试点证明在保护隐私的前提下,外部独立研究是可行的。下一步,他们要考虑如何扩展该计划,既包括能支持的研究类型,也包括同时运行的数量。为此,他们公开了所有项目的聚合数据,并开放了研究者兴趣表达表单。第三方隐私审计由帝国理工学院完成,附录包含了详细的方法论和解释指南。

Enabling independent research on how people use Claude

查看原文