AI决策模型如何改变内容审核

Musubi 发布了一款开放权重的轻量级决策模型 PolicyLM-1.7B,用于实时内容审核。它能把用自然语言写成的平台政策直接应用到消息上,延迟低于50毫秒。该模型在成本与速度上对标大多数社交平台正在使用的 AI 分类器,但因为是现代 LLM,它不需要专门训练就能执行复杂政策;政策一旦更新也无需重新训练,人类政策制定者可以随时调整。联合创始人 Filip Jankovic 说,产品团队希望了解平台上正在发生什么,尤其在内容量指数增长的情况下,可扩展且可定制的标记能力极其有用。

决策模型是近期 AI 热点。自 Typesafe AI 的 Jev 发布后,OpenAI 和 Amazon 也推出了同类模型。与传统 LLM 输出文本不同,决策模型输出结果概率;PolicyLM-1.7B 这里输出二元判断,即内容属于或不属于某个类别。由于输出被限制在一组预设选项内,模型比大语言模型更快更便宜,同时保留了 transformer 架构的灵活性。

决策模型的一个早期用例是约束 AI 代理的越界行为,如今把同一技术用于人类行为是自然延伸。Jankovic 表示他对决策模型的兴趣早于 Jev,可以追溯到 2024 年的项目 GLiNER,该模型部署了多项类似技术。Musubi 并不回避比较,产品公告直接说:“如果 Jev 引起了你的注意,PolicyLM-1.7B 是同类模型,专门为内容审核训练,你可以自己运行。”

How AI decision models could change content moderation | TechCrunch

查看原文