Hugging Face Blog（hf-mirror 镜像）·2026-07-08 08:00· 2026-07-08精选AI 评分62

vLLM 的 transformers 建模后端达到原生推理速度

Native-speed vLLM transformers modeling backend

AI 导读

Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 Qwen3 模型上达到或超过 vLLM 手写原生实现的吞吐，包括单 GPU 的 4B 稠密模型、张量并行的 32B 稠密模型以及 8×H100 上数据并行加专家并行的 235B FP8 MoE。

推荐理由

vLLM 的 transformers 后端现可达到原生实现速度，模型作者无需移植即可获得快速推理。