
用 ObjectRef 在 BigQuery 中分析非结构化数据

BigQuery 的 ObjectRef 与多模态数据分析能力现已正式可用(GA)。过去,处理图片、视频、音频、文档这类非结构化数据,通常要维护一套独立管道,跑外部机器学习负载,再把结构化推理结果拼回数仓。这种后置拼接带来大量运维开销和数据错位。ObjectRef 让 Cloud Storage 中的文件直接以原生列形式出现在 BigQuery 表里,与关系列并列,可以用一条 SQL 或自然语言查询,把多模态、多列输入直接传给 Gemini 模型。
ObjectRef 是内置 STRUCT 类型,指向 BigQuery 外部的对象。把指针存在标准表里,非结构化文件就成为一等数据公民。架构支持独立数据生命周期:GCS 数据和 BigQuery 表可以各自变化,不互相影响。核心优势包括:零拷贝——媒体文件留在 Cloud Storage,查询时即时访问,尊重数据引力,避免重复拷贝;SQL 和 Python 互操作——可用标准 SQL 或 BigQuery DataFrames,还能把 ObjectRef 传入 Python UDF,用 OpenCV 等开源库在数据所在地执行自定义逻辑;独立生命周期和版本追踪——通过 tracking 具体 GCS generation 保证可复现推理,底层文件变化时仍可引用写入行时对应版本;统一治理——用 BigQuery 现有 IAM 策略统一保护结构化列和关联的非结构化文件。
预览期间出现一种高效模式:用 SQL 构建全保真的 full-fidelity ETL 管道。团队利用 BigQuery 无服务器架构,把 AI/ML 直接放进数据环境,省掉独立计算集群来处理数据移动和推理。把 GCS 非结构化数据当成标准 BigQuery 列,就能对图片、视频、音频和文档应用幂等管道、可复现性、回填等数据工程实践。数据准备好后,用 Gemini 执行提取特征和标注,同时把原始 ObjectRef 留在同一行,形成双层分析:结构化输出支撑快速过滤、报表和 BI 仪表盘;原始对象继续用于深度、上下文密集的推理。例如,从客服通话录音中提取情感分数和主题标签,用仪表盘快速标记风险账户;会话分析代理在评估升级流程时,可以回听原音频分析双方互动,避免非结构化转结构化 ETL 中常见的细节丢失。
行业客户已有生产实践。Snap 数据科学家 Carlos Ortiz 表示,Snap 通过 ObjectRef 与 BigQuery AI,从简单随机抽样转向事后分层抽样,提高了人工审核效率,并把释放出的能力投入新工作流。此外,预览期客户已把实验管道成功转生产:内容审核平台把多媒体资产和遥测数据整合进单条管道;企业安全团队结合视觉、结构化网页组件和网络日志做主动威胁检测;在线零售商从海量图片库提取文本和上下文,自动标记监管或品牌合规问题;服务企业用 BigQuery AI 分析客服与客户之间的音频交互,评估客户情感并改进服务。
GA 版本新增三项能力。一是灵活认证:引入 End User Credentials(EUC),用户可以用个人 IAM 身份直接做临时查询,不必像预览版那样必须配置显式连接;连接仍完全支持,是生产管道的最佳实践。二是统一元数据支持:ObjectRef 原生支持 BigQuery object tables、Cloud Storage insights datasets、普通表中的原始字符串 URI 等元数据来源。三是数组支持:原生处理 ObjectRef 数组,支持对比多个文档、分析连续图像、批量语义调用。
官方还给出三个端到端示例。全保真 ETL:用 GA 的 OBJ.MAKE_REF() 从原始 URI 自动检测音频格式,配合 AI.CLASSIFY() 对客服通话分类,结果表可直接作为会话分析代理的多模态数据源。大规模 GenAI 过滤:用声明式 AI.IF() 在 WHERE 子句中按图像或文档内容过滤,默认 Optimized Mode 减少 token 消耗。多对象推理:把多个 ObjectRef 放进一个 Gemini 调用,例如同时传官方登录页截图和新发现的可疑网页截图来检测钓鱼。
ObjectRef 现已覆盖所有 BigQuery 版本和按需定价层。官方建议,如果仍在为 Cloud Storage 文件跑 ML 推理而维护复杂、碎片化的基础设施,可以尝试把 AI 带到存储,用现有数据工程实践直接在 BigQuery 内构建多模态管道。官方也提供了教程、Cloud Next 演示和文档入口。


