
从非结构化 GCS 数据高性价比提取 AI 上下文

企业数据里绝大多数是非结构化数据,以 PB 级体量躺在对象存储中,包括图片、PDF、视频和音频。这些数据承载着 AI Agent 做关键业务所需的知识,但原始对象只是一串字节,Agent 无法直接推理。要在运行时让 Agent 掌握上下文,通常需要提前把原始数据加工成结构化元数据。
Google Cloud 今天发布的 object enrichments 就是冲着这个问题去的。它是一项 Cloud Storage 新能力,用 AI 模型自动从存储对象中提取上下文信息,就地写入 object context(对象上下文)。这是一个专门设计用来存放结构化键值对的元数据结构,直接与对象本体放在一起。官方称,这套服务使用了 Google 内部服务(如 Google Photos)在用的模型,提供图像标注能力,包括目标检测、人脸检测、图像标注和不当内容检测,另外还有一个 PDF 分类模型,能将文档归入 Finance、Games、News、Health 等标准业务和行业类别。
成本是 object enrichments 最直接的卖点。按已公布价格,处理 1000 万个图片或 PDF 对象只需 700 美元;对比其他云厂商的类似服务,成本节省 75%。几个早期客户的表态都指向同一个方向:L’Oreal 的首席数据与 AI 架构师 Antoine Castex 说,给庞大的创意资产库打标签的速度比原有流程快 100 倍,成本是原来的一小部分;Hyperscience 的合作伙伴副总裁 Mayur Pillay 称,文档分类准确率提升超过 50%,分类推理成本降低 2-3 倍;Vivint 的产品 AI 副总裁 Brandon Bunker 则表示,搭配 BigQuery 之后,AI 开发周期从6 个月缩短到 1 个月。
这套能力的价值,来自它绕开了自建管道的老路。原文总结了三个常见障碍:成本上,在几百万到几十亿对象上跑模型太贵,组织只能处理一部分数据,留下盲区;运维上,自建管道要拼接事件触发、队列、Cloud Run 或 GKE 基础设施,还要处理重试、错误和调度,团队往往花几个月在这类管道上;元数据碎片化上,提取出的元数据落在另一个数据存储里,与字节分离,需要多付一份存储费、维护两套权限,还要在对象复制、移动、删除时做清理任务。object enrichments 把这些工作收敛为三步:在控制台选定包含对象的桶和位置,选择五个第一方模型中的一个或多个,授权 IAM 权限。之后模型推理、响应解析、结果写入、重试和限流全由托管服务处理。
上下文和字节放在同一个地方,是另一个关键点。模型输出直接写入 object context,与底层对象共享持久性和一致性;对象被拷贝、移动或复制时,上下文自动随行,删除时自动清除,不需要额外清理任务。IAM 可以精细控制谁能读、增、改、删上下文。应用还能通过键值对直接过滤对象列表,或者用 Storage Insights 数据集把上下文原生导入 BigQuery,让数据团队写 SQL、建仪表板,把非结构化文件洞察和结构化业务表做 join,全程不用写 ETL。
早期客户已经在多个场景落地:创意资产搜索和媒体档案——自动生成描述性标签,喂给向量数据库或 BigQuery,支撑 RAG 应用和资产发现;信任、安全和内容审核——社交平台、市场、数字媒体每天要扫大量用户上传,处理 1000 万张图片现在只要 700 美元;前沿 AI 训练数据整理——自动驾驶、智能家居、机器人公司有几亿原始文件,需要的是只占语料很小一部分的特定微调样本,用目标检测和图像标注就地打标签后,再去 BigQuery 里定位训练集,耗时从数月降到几分钟;多模态分析——图片和文档洞察与业务数据结合,用于个性化、欺诈检测和趋势发现。
目前 object enrichments 以 preview(预览) 状态在 Cloud Storage 控制台和 API 开放。Google 还预告了基于 Gemini 的更丰富上下文生成能力,支持摘要、实体提取、转录、翻译,属于即将推出的功能,需要发邮件到 [email protected] 申请访问。官方文档里还提到,可以结合 Cloud Storage MCP server,让 Agent 以 IAM 限定的权限安全读取数据及其上下文。

