vLLM 推理服务框架的动态：高吞吐 Serving、显存与成本优化、新模型支持与生产部署实践。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市，并联合生态伙伴推出配套软件更新，覆盖 GitHub Copilot、Hermes、OpenClaw、Perplexity 等智能体应用，通过 OpenShell 与 MXC 提供沙箱安全，并支持本地与云端模型混合路由。
推荐理由：NVIDIA 公布 RTX Spark 笔记本上市前的本地 AI 软件栈，涵盖智能体应用、Nemotron 新模型与开发者工具，可了解端侧智能体的落地条件。
Google DeepMind 发布 EmbeddingGemma 2，一个 740M 参数、Apache 2.0 许可的端侧多模态嵌入模型，基于 Gemma 4 架构，将文本、图像、音频、视频映射到统一嵌入空间。
推荐理由：Google DeepMind 发布 740M 参数端侧多模态嵌入模型，文本、图像、音频、视频统一嵌入，Apache 2.0 许可。
TRL v1.14 的 AsyncGRPOTrainer 支持只训练并同步 LoRA 适配器到 vLLM，rank-1 适配器只有几 MB，可经每个 Job 挂载的 Storage Bucket 传递，无需 NCCL。
推荐理由：在 HF Jobs 上把异步 GRPO 训练与 vLLM 推理拆到不同机器，用 LoRA 适配器和 Storage Bucket 替代 NCCL，500 步从 3 小时 27 分压到 53 分钟。
Meta 发布多模态模型 Muse Glimmer，从 Muse 蒸馏至 30B 参数，采用 Apache 2.0 许可，面向本地智能体场景，如编码、文档分析和个人助手。
推荐理由：Meta 开源 30B 多模态模型，主打本地智能体场景，附各框架 day-0 支持与量化部署示例。
Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 Qwen3 模型上达到或超过 vLLM 手写原生实现的吞吐，包括单 GPU 的 4B 稠密模型、张量并行的 32B 稠密模型以及 8×H100 上数据并行加专家并行的 235B FP8 MoE。
推荐理由：vLLM 的 transformers 后端现可达到原生实现速度，模型作者无需移植即可获得快速推理。