用GKE和Managed Lustre实现多节点KV缓存卸载

大模型推理时，KV缓存经常撑爆本地CPU内存和SSD，尤其长上下文和Agent场景。传统做法是把多台机器的本地SSD池化成分布式层，但这样做需要集群自己管理复杂的数据分布和跨节点复制，运维负担很重。

Google Cloud的做法很聪明：直接用Managed Lustre并行文件系统作为共享的外部KV缓存层，配合开源的llm-d卸载栈。实测在6节点A3 Mega集群上跑Llama-3.3-70B，TCO节省超过50%，GPU小时需求减少近60%，缓存命中率高达95%。本质是用Lustre的高带宽和低延迟替代本地存储，同时避免节点间的网络开销。

更有意思的是，他们验证了混合卸载——先把KV缓存放到CPU内存，再用Lustre做第二级——能把首令牌时间再缩短约40%，端到端延迟降低30%。这说明推理缓存架构不该只盯着本地资源，用专门的高性能共享存储做外部缓存层，既能省成本又能提性能，未来多节点推理的瓶颈很可能就在存储架构的优化上。