在 PyTorch Conference 2026 上，Google 宣布 TorchTPU 正式开源。TorchTPU 是 Google TPU 的原生 PyTorch 软件栈，现在可以在 GitHub 上获取。TPU 由此加入 GPU 和 CPU，成为 PyTorch 的原生运行选项。开发者可以继续用 vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、Hugging Face、LiteRT 这些工具，在 TPU 上完成训练、服务和部署。这套栈由 Google 与 Meta 的 PyTorch 团队共同开发，目标是用最小代码改动把现有 PyTorch 工作负载搬到 TPU。

TorchTPU 支持标准 PyTorch API，并保留熟悉的使用方式：先用 eager mode 调试模型，再用 torch.compile 切到生产级性能，提升 TPU 利用率并减少内存开销。它还内置高级诊断和原生分布式原语。Meta PyTorch 工程总监 Jana van Greunen 说，Meta 不能被单一硬件架构约束，TorchTPU 让他们在 LLM、广告和推荐系统等关键生产场景中，把 PyTorch 负载部署到 Google TPU。Hugging Face 方面，Hub 上的热门开放权重模型现在可以直接在 TorchTPU 上运行。Transformers v5 中，把模型部署到 TPU 只需传 device_map=”tpu”；Diffusers 也原生支持 TPU，并支持 eager mode、torch.compile 和 tensor parallelism。为了保持可靠性，Google 还建立了专门的 CI/CD 管道，在 TPU 基础设施上对 Transformers 套件做 nightly 测试。

推理侧，TorchTPU 已经集成进多个主流开源 serving 引擎。vLLM 的原生 PyTorch 后端由 Inferact 合作开发，支持 continuous batching、量化和多芯片并行，同时保留上游 worker、scheduler 和 API server，现有推理栈无需改动。SGLang 的原生 PyTorch 后端与 RadixArk 合作，面向高度结构和 agentic 的工作负载；SGLang 的 RadixAttention 在请求间复用 KV cache，重复 prompt 前缀跳过重算，TorchTPU 后端还保留上游组件，并用一个 disaggregation transfer backend 同时作为 HiCache 的 I/O 后端。llm-d 1.0 也正式发布，这是与 Red Hat、IBM 以及超过 500 名贡献者、25 个组织共同维护的 CNCF Sandbox 项目。llm-d 连接 PyTorch 和 Kubernetes 两个生态，用 prefix-cache-aware routing 把请求发给已经持有该 context 的 replica，并拆分计算密集的 prefill 与内存密集的 decode。1.0 版本具备多租户流控、router 高可用、稳定 v1 API 和面向 agent 的 session-aware routing。Zenteiq 使用 GKE Inference Gateway 和 llm-d 加速合成数据生成，靠 load-aware 和 prefix-cache-aware 路由，聚合推理吞吐提升超过 4 倍，每天每 1000 个 TPU v6e 加速器的 token 生成容量从 14.7 亿增加到 59.7 亿。

训练侧，TorchTitan 作为 PyTorch 原生的分布式训练参考实现，已经集成 TorchTPU。它结合 torch.compile、SimpleFSDP、Pallas kernels 和图级优化，提供 Llama 3 70B/405B、Qwen 3 8B/32B、MuseGlimmer 30B、Qwen 3 235B MoE，以及 FLUX.1 12B 扩散 Transformer 的预训练 recipe，并已在最多 8000 个 Ironwood TPU（TPU v7x）上验证运行。扩展测试显示，Qwen 3 8B 通过 TorchTitan 达到最高 52% 的 MFU，并在最多 8192 个 Ironwood TPU 上保持近线性扩展。VeRL 也加入了 TPU backend 和端到端参考 recipe，它基于 disaggregated trainer-sampler 架构，GRPO 参考 recipe 面向数学推理数据集。Ray 获得原生 TorchTPU 支持，几行资源配置就能在 CPU/GPU/TPU 之间编排数据、训练、RL 和 serving。

部署层，LiteRT（原 TensorFlow Lite）加入 PyTorch 生态系统。用 litert-torch.convert() 一次调用即可转换 PyTorch 模型，底层基于 torch.export() 和 Core ATen 算子，模型代码仍是 PyTorch。LLM 场景可以导出 Hugging Face Transformer 模型，用 LiteRT-LM 运行。转换后的模型覆盖 Android、iOS、macOS、Windows、Linux、Web 和 IoT，并可通过单一 API 调用 CPU（XNNPack）、GPU（ML Drift）和主流芯片厂商的 NPU 加速。TPU agent suite 也进入 preview，通过插件接入多种 coding harness-模型组合，自动完成 onboarding、诊断、用户问题解答和推理性能调优。

这些发布指向一个清晰的方向：Google 想把 TPU 软件生态做成 PyTorch 社区中开放、可选的硬件路径。无论是训练、推理还是端侧部署，PyTorch 开发者现在都有了一条改动极小、不换工具链的 TPU 路径。