SC26 上的 HPC 与 AI 新动态

SC26 是国际超算大会。Google Cloud 在大会上展示了 agentic HPC 的新进展:把 HPC 和科学计算经验打包成可复用的 agent 技能,让 agent 不仅能建议代码优化,还能真正搭建、配置和优化生产级 HPC 工作负载。团队在博客里解释了背后的逻辑:通用推理模型缺乏基础设施和领域上下文,直接放开 agent,可能把存储层和计算型虚拟机配错,忽略放置策略,或者在排查多节点 MPI 网络故障时卡住。为此他们把专家经验转化为带确定性工具的技能,并经过自动化端到端测试。

第一块能力是把 Cluster Toolkit 与可组合的 agent 技能结合起来。Cluster Toolkit 原本用声明式 YAML blueprint 部署可重复的 HPC 环境;现在配套的基础设施技能会在执行 gcluster deploy 之前,先审计计算和存储配额、对区域容量做快速 canary 检查、匹配已验证的 Cluster Toolkit blueprint,并等待人工批准。集群启动后,领域技能引导 agent 配置具体工作负载,包括 OpenFOAM 和 Siemens STAR-CCM+ 流体动力学、GROMACS 和 AlphaFold 3 生命科学管线,以及带浏览器端 3D 可视化的 Devito 和 Open Porous Media 地下仿真。治理方面,agent 运行在 IAM、Kueue 配额和预算护栏内,操作记录进 Cloud Logging,配套的 gke-kueue-debugging 技能可自动排查卡住的队列或节点排空问题。这些技能从 Google Skills 和 DeepMind Science Skills 仓库下载。

第二块是 AlphaEvolve on Cloud Batch。AlphaEvolve 由 Google DeepMind 开发,用 Gemini 驱动的进化循环对代码和 3D 工程参数做迭代变异、基准测试和优化。Cloud Batch 方案把流程从笔记本上的种子算法扩展到大规模并行实验:单个 gcluster blueprint 就能拉起 AlphaEvolve 控制器环境,并通过 Batch 并发评估数百个候选,运行在单 VM 沙箱或多节点 MPI 任务组中。研究者能用托管 Python notebook 观察候选谱系并引导实验,也能接入 CLI 或 agent 驱动工具。生产级评估强调匹配真实超算网络:用 Cloud RDMA 和 Google Cloud Managed Lustre,结合 Spot VM 或 Dynamic Workload Scheduler 控制成本,避免在单节点慢网络上进化出只在小规模下有效的算法。

底层基础设施由 Cluster Director 管理。经典 MPI 仿真可运行在 H4D 实例上,采用第 5 代 AMD EPYC 处理器和 Cloud RDMA,其中有为 EDA 和大型工程模型准备的 3 TB 高内存配置;也可以选择基于 Google Axion 的 Arm 架构 C4A 实例追求每瓦性能。AI 与物理仿真混合负载使用 A4、A4X 实例(NVIDIA Blackwell B200 和 GB200 NVL72),前沿训练和推理可上 A5X 裸金属实例(NVIDIA Vera Rubin NVL72 平台),CAE、CFD 和 3D 可视化则由带 NVIDIA RTX PRO 6000 Blackwell 的 G4 实例加速,同时降低单核软件许可成本。第八代 TPU 中,TPU 8t 面向大规模预训练、强化学习和数学建模/仿真,TPU 8i 面向高吞吐、低延迟的推理和 agent 推理负载;Batch 也新增了在单主机 TPU slice 上运行作业的能力。存储方面,Google Cloud Managed Lustre 提供最高 10 TB/s 读吞吐、基于 RDMA 的 GPUDirect Storage,以及 80 PB Dynamic Tier 和 Cloud Storage Mirroring,还可叠加 Cloud Storage FUSE 本地 SSD 缓存。

文章最后提到,agentic HPC 不是把无引导模型放到终端上,而是把 Gemini 的推理、Cluster Toolkit 技能、Batch 上的进化优化和专用超算硬件组合起来。SC26 现场(11 月 15-20 日,芝加哥 McCormick Place West,Booth #3418)会演示 Antigravity for HPC、HPC Prompt Playground 和 AlphaEvolve for HPC,并设有相关研讨会和 BoF 讨论。

What’s new in HPC and AI at SC26

查看原文