Filestore 文件服务跑在 Colossus 上,性能与容量解耦

Google Cloud 官宣 Filestore 文件存储服务完成重大架构升级,后端存储层直接构建在 Colossus 之上——这是支撑 YouTube、Gmail、Gemini 等全球服务的分布式存储基础设施。

核心变化是存储容量与性能解耦。以前 IOPS 和容量绑定,现在可以独立按需配置 IOPS,避免为提升性能而多买容量。这种解耦在容器化环境尤其有用:通过 Filestore CSI 驱动为 GKE 工作负载提供持久化高性能存储,且支持 多共享(Multishares) 功能——单个 Filestore 实例可切分成最小 10 GiB 的独立份额,供 AI 团队按项目分配,支撑数千个并发容器,不牺牲性能,也不增加总拥有成本。

基于 Colossus 的架构还开启了新场景:AI 代理集群的高并发共享工作区。多个自主 agent 需要同时读写同一数据集以维持状态和上下文,Filestore 通过 NFS 协议提供一致的文件系统访问,利用 NFS 文件锁保证严格一致性,官方称可支撑 数百万个 agent 协同工作。

运维层面新增独立调整 IOPS 的 Custom Performance 设置,无需重建集群即可实时优化成本。分布式存储层相比传统单体架构,故障恢复更快,容量变更零停机。安全方面集成 Google Cloud IAM、NFS 用户/组 ID 以及 IP 访问控制列表。

原文是 Google Cloud 官方博客,主要目的是推广产品升级,未提供具体性能数据或对比基准,但架构思路清晰:将第一方分布式存储 DNA 下放到文件服务,解决传统 NFS 在 AI 时代弹性不足的问题。适合已经在用 GKE 或考虑大规模 agent 共享存储的团队关注。

Filestore file service runs on Colossus

查看原文