
Google Cloud 网络如何支撑 AI 负载的弹性算力选择

Google Cloud 官方博客探讨了 AI 负载的”fluid compute”(弹性算力)概念:不把部署绑定在单一加速器型号上,而是根据当下可获得的资源,在多种 GPU/TPU 选项中灵活选择。文章重点梳理了配套的网络方案,因为不同加速器对应的后端网络配置并不相同。
资源获取方面,Google Cloud 提供了多种途径:Dynamic Workload Scheduler 的 Flex-start 模式会排队等待所有加速器节点同时就绪后一起供给,可非抢占式运行最多 7 天;calendar 模式可提前 1 到 90 天预定容量,保证起止时间,适合预训练和基准测试。Future reservations 保证在未来指定日期获得特定区域的承诺硬件;Flex reservations 提供短期承诺窗口,避免多年锁定。在 GKE 中,ComputeClasses 支持多系列 fallback 列表,主资源池受区域限制时自动尝试备选加速器类型。Spot VMs 则以大幅折扣提供富余算力,适合可容错、有检查点的批处理任务。
网络配置按加速器分为四类。标准网络适用于 NVIDIA T4、L4、A100 以及 Cloud TPU v3、v5e 单主机等,节点通过 gVNIC 走标准 TCP/IP 在 VPC 上通信,适合分布式数据预处理、解耦的流水线阶段、独立推理副本和 CV 负载。
加速 GPU 网络分两条路线。GPUDirect-TCPX/TCPXO 面向 NVIDIA H100(A3 High,4 rail)和 H100 Mega(A3 Mega,8 rail),通过自定义卸载引擎在标准以太网上实现高吞吐多 rail GPU 通信,不需要原生 RDMA 硬件,可用 Cluster Toolkit 蓝图部署。RoCEv2 则面向 H200(A3 Ultra)、B200(A4)、GB200 NVL72(A4X)和 GB300(A4X Max Bare Metal),运行在专用 RDMA VPC 上,VM 使用 ZONE-vpc-roce 配置文件,裸金属使用 ZONE-vpc-roce-metal。该 VPC 严格隔离给 GPU 通信,子网直接映射加速器 NIC,支持 Jumbo Frames(MTU 8896),提供无阻塞多太比特带宽。在 GKE 上可用托管 DRANET 自动配置额外网络和驱动,并通过标准 Kubernetes 资源声明分配给 Pod。
TPU 网络方面,TPU v4、v5p、v5e(多主机 Pod)、v6e(Trillium)和 TPU7x(Ironwood)在 Pod 内通过 ICI 光链路直连,组成 2D/3D 环面网格,绕过传统网络栈。TPU v4/v5p SuperPod 用光路交换机(OCS)动态改变物理拓扑、绕开故障托盘并切分自定义大小的 slice。TPU v6e 和 TPU7x 引入原生多 NIC 架构:管理流量走主 VPC,数据流量走专用 VPC。跨 slice 扩展则通过 Multislice 连接多个 ICI 网格,跑在 Google 的 Jupiter 数据中心网络上。
Cloud Run 方面,GPU 服务支持 NVIDIA L4 和 RTX PRO 6000(Blackwell),通过 Direct VPC Egress 将无服务器容器直接绑定到私有 VPC,分钟级 IP 分配,可安全低延迟访问内部数据湖、数据库和私有 API,无需经过公网或传统连接器 VM。


