iFeeling Daily
每天精选值得关注的 AI 动态
Hugging Face 原生支持 TPU:TorchTPU
用 PyTorch 跑 TPU 不再需要 torch_xla 或 JAX,TorchTPU 让 TPU 成为普通设备,Hugging Face 模型一行代码迁移。
AnyLanguageModel 1.0:苹果本地模型的一年

AnyLanguageModel 1.0 正式发布,它统一了苹果设备上本地与托管模型的调用 API,切换推理提供商时只需改动一行 import 代码即可。
llm-d 1.0:开源分布式推理栈

llm-d 1.0发布:Kubernetes原生分布式推理栈,缓存感知路由让编码agent的TTFT降85%,吞吐提升2.4倍。
TorchTPU 开源,PyTorch 原生支持 TPU

TorchTPU 开源,PyTorch 原生跑在 Google TPU 上,vLLM、Hugging Face、TorchTitan 全线兼容,附 MFU 与吞吐实测数据。
PyTorch 2.15 MPS:FP8 落地、解码提速
PyTorch 2.15 的 MPS 后端全面提速:FP8 支持落地,MoE 解码最多快 6.5 倍,显存占用从 270GiB 降到 8GiB。
GDC 上的 Gemini 主权企业搜索

涉密机构以前想用上大模型搜索,得自己拼装好几个月;现在谷歌把 Gemini 企业搜索搬进 GDC 隔离网络,100MB 以内文件直接对话,答案带引用。
Google 公有部门发布 Gemini 政府服务与 Wiz 代理

96.3%的政府机构已经部署AI代理,但真正实现全机构规模化采用的只有9%。Google在华盛顿峰会发布政府版Gemini平台与Wiz安全代理,试图攻克数据孤岛这个最大瓶颈。
TorchNeuron:Trainium上HF模型更易用
TorchNeuron 让 Trainium 成为 PyTorch 原生设备:89% 热门文本生成模型开箱即用,训练脚本几乎与 GPU 通用。
Gemini 中的 MCP Apps 开发者指南

MCP Apps 把工具和实时 UI 绑在一起,在 Gemini Enterprise 聊天流里直接渲染,调整无需多轮模型回合;还讲清了 Cloud Run 私有部署和双层 OAuth 认证的完整步骤。