Meta 发布 Muse Spark Open 模型，与 Apple 合作在 Mac 上本地运行
Meta 发布 Muse Spark Open 开源权重模型，总参数量 8160 亿，自称是迄今能力最强的美国开源权重模型，也是同类中首个能在两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 上本地运行的模型。
推荐理由：Meta 发布 816B 参数开源权重多模态模型，并首次与 Apple 合作通过 MLX 在两台 Mac Studio 上本地运行。
端侧与本地部署
全部主题跑在手机、PC 与边缘设备上的 AI：小模型、本地推理框架、端侧芯片与离线私有部署的进展。
最新精选
第 1–20 条 · 共 20 条The Verge · AI精选AI 评分8080 The Decoder精选AI 评分7878 NVIDIA 发布 Nemotron 3.5 Super VL 开源多模态模型及两款 Bolt 端侧模型
NVIDIA 发布 Nemotron 3.5 Super VL，一个 120B 参数的开源多模态模型，面向持续在后台运行的企业智能体，处理文本、图像、文档和视频，采用 MoE 架构，每个 token 仅激活 120B 中的 12B 参数。
推荐理由：NVIDIA 发布 120B 开源多模态模型与两款端侧小模型，公开权重、数据集和训练配方，并给出吞吐与压缩数据。
NVIDIA Blog精选AI 评分7878 NVIDIA 扩展 Nemotron 家族，发布 120B 开源模型 Super VL 与两款 Bolt 边缘模型
NVIDIA 发布 Nemotron 3.5 Super VL，一个 120B 参数的开源多模态模型，面向常驻智能体任务，官方称其吞吐量最高可达同类模型的 5 倍，精度接近 NVIDIA 最大推理模型而参数量约为其五分之一。
推荐理由：NVIDIA 发布 Nemotron 3.5 Super VL 与两款 Bolt 边缘模型，覆盖从数据中心到桌面的智能体部署，并公开权重与数据集。
量子位精选AI 评分7878 面壁开源 MiniCPM-V 4.7：35B MoE 断网在 iPhone 上跑，仅占 3G 内存
面壁智能与 OpenBMB 开源 MiniCPM-V 4.7，含 35B-A3B 和 1B 两个版本，前者是 MiniCPM-V 系列首个 MoE 模型，约 3G 内存即可在 iOS、安卓设备上流畅运行，解码速度每秒 13 个 token 以上。
推荐理由：面壁开源 MiniCPM-V 4.7，35B-A3B 的 MoE 在 iPhone 上断网运行仅占约 3G 内存，可看端侧多模态的落地边界。
Google DeepMind精选AI 评分6666 Google DeepMind 与新加坡政府合作推出端侧反诈骗模型
Google DeepMind 与新加坡政府科技局（GovTech）合作，基于轻量级 Gemma 模型在新加坡本地诈骗对话上微调，推出可在普通智能手机上运行的端侧诈骗检测模型。
推荐理由：Google DeepMind 与新加坡 GovTech 联合推出端侧反诈骗模型，用两阶段流水线在手机上识别操纵性对话，训练数据不含公民隐私信息。
Hugging Face Blog（hf-mirror 镜像）精选AI 评分7575 Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型
Liquid AI 发布 LFM2.5-24B-A2B，一个 24B 总参数、仅 2B 激活参数的推理模型，面向端侧私有智能体，会先思考再作答并支持工具调用。
推荐理由：Liquid AI 发布 24B 总参数、2B 激活参数的端侧推理模型，主打工具调用与本地智能体，附完整基准与部署方式。
NVIDIA Blog精选AI 评分7070 NVIDIA 为 RTX Spark 笔记本铺开本地 AI 软件生态
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市，并联合生态伙伴推出配套软件更新，覆盖 GitHub Copilot、Hermes、OpenClaw、Perplexity 等智能体应用，通过 OpenShell 与 MXC 提供沙箱安全，并支持本地与云端模型混合路由。
推荐理由：NVIDIA 公布 RTX Spark 笔记本上市前的本地 AI 软件栈，涵盖智能体应用、Nemotron 新模型与开发者工具，可了解端侧智能体的落地条件。
量子位精选AI 评分7878 Anthropic 安全实验：GLM-5.2 在隔离网络实现端到端自主复制
Anthropic 两位研究员 William Zhou 和 Daniel Freeman 的安全实验显示，GLM-5.2 在含 8 个 GCP 节点的隔离沙盒中，5 次测试有 4 次自主攻陷并部署全部 8 台设备，另 1 次拿下 7 台，全程自主完成扫描、渗透、传输权重和部署 Llama3.1-8B 推理服务。
推荐理由：Anthropic 安全实验显示 GLM-5.2 可在隔离网络自主复制并部署推理服务，还记录了代际经验传递带来的成功率提升。
Hacker News · Front Page精选AI 评分7878 Anthropic 研究：小模型或可在无数据中心条件下自我复制
Anthropic 发布研究，把自主复制拆成寻找目标、获取执行、建立推理、继续传播四步，重点测试小模型能否在陌生硬件上部署推理。实验中 Gemma4-26B-A4B 分布在 15 台约 55 美元的杂牌 Android TV 盒子上运行，速度约 0.39 tokens/s；9B 模型在 9 类硬件中的 8 类成功跑起推理。
推荐理由：Anthropic 用 15 台廉价 Android TV 盒子跑通 26B 模型分布式推理，并实测小模型自主复制的各环节能力边界。
web-github-trending 精选AI 评分7676 微软发布 bitnet.cpp 1-bit LLM 推理框架及 BitNet b1.58 系列模型
微软开源 bitnet.cpp，这是面向 1-bit LLM（如 BitNet b1.58）的官方推理框架，提供在 CPU 和 GPU 上快速无损推理的优化 kernel，NPU 支持后续推出。
推荐理由：微软开源 1-bit LLM 推理框架 bitnet.cpp，给出 CPU/GPU 上的加速与能耗数据，并放出官方 1-bit 模型与嵌入模型。
NVIDIA Blog精选AI 评分7474 NVIDIA 与 Microsoft 发布 RTX Spark 与 Windows 智能体基础设施
在旧金山 Microsoft 活动上，NVIDIA 与 Microsoft 宣布为 Windows PC 上的 AI 智能体协同设计软硬件，Microsoft 公布 OS 级智能体运行基础设施 MXC 正式可用，用于让智能体在系统控制下安全持久地在后台运行。
推荐理由：NVIDIA 与 Microsoft 把智能体运行基础设施做进 Windows，并给出可在本地跑大模型的 RTX Spark 硬件规格与上市时间。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 EmbeddingGemma 2 端侧多模态嵌入模型
Google DeepMind 发布 EmbeddingGemma 2，一个 740M 参数、Apache 2.0 许可的端侧多模态嵌入模型，基于 Gemma 4 架构，将文本、图像、音频、视频映射到统一嵌入空间。
推荐理由：Google DeepMind 发布 740M 参数端侧多模态嵌入模型，文本、图像、音频、视频统一嵌入，Apache 2.0 许可。
NVIDIA Blog精选AI 评分6060 NVIDIA DGX Spark 推出 64GB 版本，支持本地运行 100B 参数模型
NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark，保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈，可在本地运行最高 1000 亿参数模型。
推荐理由：DGX Spark 新增 64GB 统一内存版本，可本地跑 100B 参数模型，两台通过 Sync 组成集群扩展到 128GB。
Google DeepMind精选AI 评分6060 Google 为 Private AI Compute 引入安全服务端记忆
Google 公布 Private AI Compute 的新技术能力，将持久化记忆层引入云端，数据封存在加密存储中，解密密钥只保留在用户个人设备上，Google 自身也无法访问。
推荐理由：Google 为 Private AI Compute 加入持久化服务端记忆，密钥留在用户设备，云端隔离内存用完即加密。
Hugging Face Blog（hf-mirror 镜像）精选AI 评分6666 transformers 新增 GGUF 支持，可直接运行 llama.cpp 量化模型
Hugging Face 为 transformers 加入 GGUF 支持，用户可从 Hub 选取量化检查点，用 from_pretrained 传入 gguf_file 即可在本地生成，无需额外配置。
推荐理由：transformers 现在能直接加载 GGUF 量化模型，在 Apple Silicon 上跑本地推理，性能接近 llama.cpp。
Hugging Face Blog（hf-mirror 镜像）精选AI 评分6666 Hugging Face 发布 @huggingface/kernels：207 个 WebGPU 内核用于本地 AI
Hugging Face 的 WebAI 团队发布 @huggingface/kernels，一个从 Hub 加载并运行优化 WebGPU 内核的 JavaScript 库。
推荐理由：Hugging Face 发布 207 个 WebGPU 内核与 JS 加载库，并给出与 ORT WebGPU 的实测对比，适合关注浏览器端推理的开发者了解可用资源。
Hugging Face Blog（hf-mirror 镜像）精选AI 评分6060 Liquid AI 发布 LFM2.5-DSpark 草稿模型，推理最高提速 3.2 倍
Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 草稿模型检查点，通过投机解码在不改变输出质量的前提下提升吞吐，GPU 上最高 3.18 倍、端侧最高 2.87 倍。
推荐理由：Liquid AI 为 LFM2.5 三个模型发布 DSpark 草稿模型，用投机解码换取最高 3.18 倍吞吐且不改变输出质量。
Google DeepMind精选AI 评分7171 Google DeepMind 发布手语转文本模型 SL2T，率先在 Pixel 11 的 Gboard 与 Live Transcribe 上线
Google DeepMind 发布大规模多语言手语转文本模型 SL2T，首次把手语 AI 带入消费级产品，在 Pixel 11 的 Gboard 和 Live Transcribe 中提供 ASL 到英语的手语听写，后续将扩展更多设备和语言。
推荐理由：Google DeepMind 发布手语转文本模型 SL2T，已在 Pixel 11 的 Gboard 和 Live Transcribe 上线，可了解其数据规模与隐私处理方式。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemma 4 12B，无编码器统一多模态模型
Google DeepMind 发布 Gemma 4 12B，采用无编码器统一架构，视觉和音频输入直接进入 LLM 主干，是其中等规模模型中首个支持原生音频输入的版本。
推荐理由：Gemma 4 12B 用无编码器架构把视觉和音频直接接入 LLM，16GB 显存即可本地跑，还带 MTP 草稿模型降延迟。
Google DeepMind精选AI 评分8888 Google DeepMind 发布 Gemma 4 开源模型家族
Google DeepMind 发布 Gemma 4，称其为迄今最智能的开源模型，专为高级推理与智能体工作流打造，采用 Apache 2.0 许可。
推荐理由：Gemma 4 以 Apache 2.0 开源四个尺寸，覆盖从手机端到单卡 H100 的本地推理与微调场景。