AI 开发

Transformers模型在vLLM上实现原生级推理速度

Transformers模型现在能在vLLM里跑出原生速度了,不需要写任何定制代码。HuggingFace用torch.fx加AST重写技术,自动把模型操作融合成vLLM的高效内核,实测4B到235B的Qwen3都持平甚至超越手写实现。模型作者的代码写一次就能同时用于训练和推理,这是生态整合的一大步。

阅读详情Transformers模型在vLLM上实现原生级推理速度

Anthropic 在首尔开设办公室,官宣韩国 AI 合作版图

Anthropic 在首尔设办公室,同时官宣了与韩国科学技术信息通信部的 AI 安全合作,以及 NAVER、三星、LG 等巨头的 Claude 部署案例。核心看点:Claude Code 被 NAVER 数千名工程师全线采用,Samsung SDS 同时向三星电子推 Agent 和编码工具。这不是一场简单的办公室开张,是 AI 公司跨国落地的范本:政府准入+财阀采购+开发者生态三路齐下。

阅读详情Anthropic 在首尔开设办公室,官宣韩国 AI 合作版图