跳到正文

#端侧

今日 2 条
今天10月18日周日
10月17日周六
10月16日周五
  2. Hacker News · Front Page78

    Apple MLX 在 Mac Studio 集群上运行 Muse Spark Open 等前沿模型

    Apple ML 研究团队展示用最新版 MLX 在 Mac Studio 上本地运行前沿模型，其中近万亿参数的 Muse Spark Open（816B，MoE）在四台 M5 Ultra Mac Studio 上以 NVFP4 精度达到 36.73 tokens/s 的解码速度。

    推荐理由：Apple 用 MLX 在 Mac Studio 集群上跑近万亿参数 MoE 模型，给出多机并行方案与实测吞吐，适合关注本地推理的读者。

  4. Hacker News · Show HN50

    Videre：用 Rust CLI 本地管理照片与视频的媒体库

    Videre 是一款 Rust 编写的本地优先媒体库 CLI，用单个二进制文件和库内一个 SQLite 文件索引你已有的照片与视频文件夹，不上传任何内容。它支持查找重复文件、修正错误日期、人脸分组，以及用自然语言描述或示例图片搜索未打标签的媒体，并内置 MCP server 供 Claude 等智能体调用。

  7. The Verge · AI80

    Meta 发布 Muse Spark Open 模型，与 Apple 合作在 Mac 上本地运行

    Meta 发布 Muse Spark Open 开源权重模型，总参数量 8160 亿，自称是迄今能力最强的美国开源权重模型，也是同类中首个能在两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 上本地运行的模型。

    推荐理由：Meta 发布 816B 参数开源权重多模态模型，并首次与 Apple 合作通过 MLX 在两台 Mac Studio 上本地运行。

  8. 极客公园50

    OPPO AI 心力球体验：手机大厂做穿戴录音，卷的已经不是转写

    OPPO 在 9 月 17 日 ODC 上首次亮相的 AI 心力球，主机仅 9.8 克，满电支持 24 小时连续记录，取出即自动聆听、放回收纳盒即停止，无需手动开关。它通过 PersonaX 记忆共生引擎把跨场景沟通自动归集为项目时间线，并支持 MCP 协议将长期记忆提供给 Claude、Cursor 等外部工具调用。目前需配合 OPPO、一加或 Realme 手机使用，系统级联动尚未实现。

  9. The Decoder78

    NVIDIA 发布 Nemotron 3.5 Super VL 开源多模态模型及两款 Bolt 端侧模型

    NVIDIA 发布 Nemotron 3.5 Super VL，一个 120B 参数的开源多模态模型，面向持续在后台运行的企业智能体，处理文本、图像、文档和视频，采用 MoE 架构，每个 token 仅激活 120B 中的 12B 参数。

    推荐理由：NVIDIA 发布 120B 开源多模态模型与两款端侧小模型，公开权重、数据集和训练配方，并给出吞吐与压缩数据。

10月15日周四
  1. NVIDIA Blog78

    NVIDIA 扩展 Nemotron 家族，发布 Nemotron 3.5 Super VL 与 Bolt 模型

    NVIDIA 发布开源 1200 亿参数的 Nemotron 3.5 Super VL，主打多模态智能体任务，官方称其精度接近自家最大推理模型而参数量约为五分之一，吞吐量最高为同类模型的 5 倍。

    推荐理由：NVIDIA 发布 Nemotron 3.5 Super VL 与两款 Bolt 边缘模型，覆盖从数据中心到桌面的智能体部署，并给出开放权重与后训练路径。

  6. Hacker News · Show HN62

    Sonia 发布本地语音助手：13GB 内存、无需 GPU、支持技能

    Sonia 是一个完全本地运行的全双工语音助手，由 LLM、STT、TTS 组成，不需要独立 GPU，工作集保持在 15GB 内存以内，支持英语和意大利语。它采用全双工监听，麦克风常开，可在助手说话时打断并暂停、恢复或取消回答；通过 SKILLS_DIR 指向已有的 SKILL.md 技能目录，可复用 pi、opencode 等 agent harness 的技能。

10月14日周三
  2. The Verge · AI62

    Anthropic 警告自我复制 AI 风险，实验把 Gemma 4 拆到 15 台电视盒上运行

    Anthropic 本周发布博客称，小型 AI 模型可能再过数月就具备自我复制能力。其研究把 260 亿参数的 Google Gemma 4 拆分到 15 台 Android 智能电视盒上运行，速度很慢但成功，并在模拟 Android 设备网络中让 AI 蠕虫自动寻找新机器、复制模型并启动，只有中国智谱的 GLM-5.2 能扩散到整个网络。

  9. 量子位78

    面壁开源 MiniCPM-V 4.7：35B MoE 断网在 iPhone 上跑，仅占 3G 内存

    面壁智能与 OpenBMB 开源 MiniCPM-V 4.7，含 35B-A3B 和 1B 两个版本，前者是 MiniCPM-V 系列首个 MoE 模型，约 3G 内存即可在 iOS、安卓设备上流畅运行，解码速度每秒 13 个 token 以上。

    推荐理由：面壁开源 MiniCPM-V 4.7，35B-A3B 的 MoE 在 iPhone 上断网运行仅占约 3G 内存，可看端侧多模态的落地边界。

  10. Google DeepMind66

    Google DeepMind 与新加坡政府合作推出端侧反诈骗模型

    Google DeepMind 与新加坡政府科技局（GovTech）合作，基于轻量级 Gemma 模型在新加坡本地诈骗对话上微调，推出可在普通智能手机上运行的端侧诈骗检测模型。

    推荐理由：Google DeepMind 与新加坡 GovTech 联合推出端侧反诈骗模型，用两阶段流水线在手机上识别操纵性对话，训练数据不含公民隐私信息。

  11. Hugging Face Blog（hf-mirror 镜像）75

    Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型

    Liquid AI 发布 LFM2.5-24B-A2B，一个 24B 总参数、仅 2B 激活参数的推理模型，面向端侧私有智能体，会先思考再作答并支持工具调用。

    推荐理由：Liquid AI 发布 24B 总参数、2B 激活参数的端侧推理模型，主打工具调用与本地智能体，附完整基准与部署方式。

  14. Hacker News · Show HN62

    Hatoba 发布开源 SSH 客户端，内置 AI 助手与端到端加密同步

    Hatoba 是一款开源桌面 SSH 客户端，把主机、密钥和终端会话集中管理，并在每个终端旁提供 AI 助手。同步后端是部署在用户自己 Cloudflare 账号上的 Worker 和 D1 数据库，数据在设备上加密后再上传，官方称泄露 Worker 或数据库只会暴露密文；同步可选，离线也能用。

10月13日周二
  4. NVIDIA Blog70

    NVIDIA 为 RTX Spark 笔记本铺开本地 AI 软件生态

    NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市，并联合生态伙伴推出配套软件更新，覆盖 GitHub Copilot、Hermes、OpenClaw、Perplexity 等智能体应用，通过 OpenShell 与 MXC 提供沙箱安全，并支持本地与云端模型混合路由。

    推荐理由：NVIDIA 公布 RTX Spark 笔记本上市前的本地 AI 软件栈，涵盖智能体应用、Nemotron 新模型与开发者工具，可了解端侧智能体的落地条件。