
以新工具和支持加强打击在线儿童性虐待

OpenAI今日发布了一套打击在线儿童性虐待材料(CSAM)的新工具和支持措施,包括检测分类器、ChatGPT内的干预警告、开发者指南以及面向执法调查员的工具与培训。这些工作基于其Child Safety Blueprint,目标是让技术帮助保护儿童,同时由人掌控。
核心是一项新的图像分类器,用于检测潜在CSAM,包括AI生成的内容。它通过视觉特征识别可能未被见过的异常图像,输出评分帮助审核人员决定优先处理顺序。这是首个广泛可用、且带有“可能由AI生成”信号的CSAM分类器。模型由OpenAI团队在NCMEC(美国国家失踪与被剥削儿童中心)的协助下训练、评估和设计。该分类器通过OpenAI API免费提供给经审核的组织,以降低儿童安全组织和不同规模团队的接入门槛。OpenAI还与Tech Coalition和ROOST合作分享访问权限,并参与Tech Coalition的Lantern项目,跨平台共享与接收相关信号。
早期测试显示,该分类器能帮助审核人员聚焦滥用图像,同时减少误报。在一项针对用户上传图像的评估中,与现有保护相比,新分类器标记的图像数量减少48%,发现滥用图像的数量大致相同;被标记图像含有滥用的可能性约为现有工具的两倍。早期合作伙伴也做了验证:fal在人工审核的生产图像测试中,确认了72%的高置信度标记为新的CSAM;invideo AI的测试显示,每四个标记案例中就有一个导致封禁;SafetyKit在涉及儿童性化绘画或动画的评估中,检测到了90%的案例。相关细节在模型卡中公开。
在ChatGPT端,OpenAI增加了产品警告。当用户试图查找滥用材料时,系统会中断操作,说明后果,并指向帮助渠道。警告同时会移除该对话,并暂停访问ChatGPT 24小时,同时保留专家支持。重复违规可能导致更长时间限制,最终封号或上报当局。这一做法参考了保护儿童组织与学术顾问的意见,包括Protect Children、Lucy Faithfull Foundation、肯特大学的Dr. Caoilte Ó Ciardha,以及塔斯马尼亚大学的Joel Scanlan,后者独立评估了一项威慑信息试验。
面向开发者,OpenAI发布了CSAM指南,与Tech Coalition、Thorn、NCMEC和互联网观察基金会共同制定,提供预防滥用、检测有害内容和采取行动的具体步骤。指南涵盖规则、用户举报、检测工具、审核与上报流程,并解释如何使用安全标识符关联滥用用户,以及如何支持审核人员。开发者可配合使用新的图像分类器、Moderation API、ROOST的Coop控制台,以及Thorn的Safer服务。此外,OpenAI还与Anthropic和Google联合委托、由Tech Coalition发布了应对AI系统中儿童性剥削披露的指南。OpenAI表示,该指南已经推动更多开发者接入儿童安全工具并注册向NCMEC报告。
执法支持方面,OpenAI为儿童安全调查员提供新工具和培训。第一个工具可帮助审查长篇聊天记录和法律程序返回材料,识别潜在关联并创建时间线,所有发现都链接到源材料。初始培训以概览和演示为主,配有一份实践指南,供团队后续参考。访问权限由机构授权和项目要求决定,未来培训将在区域、国家和国际会议上提出。
这些措施的共同目标是防止儿童受伤害,并在虐待发生时加强响应。OpenAI表示会继续改进保护措施,同时为儿童保护组织、开发者、研究人员和调查员提供所需工具与专业知识。


