跳到正文

#多模态

今日 8 条
今天10月16日周五
  1. arXiv · cs.AI66

    MAI-Gym:面向移动与桌面环境的 GUI 智能体评测与 RL 训练一体化平台

    MAI-Gym 是一个开源一体化平台,把移动、电脑和网页环境下的 GUI 智能体评测、数据采集与在线 RL 训练统一到同一条 rollout 流程中,支持十项既有基准并扩展到 20000 个并行环境实例。

    推荐理由:统一 GUI 智能体的评测、数据合成与在线 RL 训练平台,并给出 9B 模型在移动与桌面基准上的结果和模拟到真机的迁移数据。

  2. Hugging Face Blog(hf-mirror 镜像)88

    Meta 发布 Muse Spark Open:816B 参数开源多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,支持文本、图像、音频和视频输入并输出文本。

    推荐理由:Meta 开源 816B 参数 MoE 多模态模型,支持文本图像音频视频输入,附 vLLM、SGLang、llama.cpp 部署与 TRL 微调配方。

  3. The Decoder82

    Meta 发布开放权重模型 Muse Spark Open,816B 参数对标 Qwen、GLM 和 Kimi

    Meta 发布开放权重模型 Muse Spark Open,称其为美国最强的开放权重模型,面向编码与智能体任务,拥有 8160 亿参数(420 亿激活)、最高 100 万 token 上下文,支持文本、图像、视频和音频。

    推荐理由:Meta 重返开放权重赛道,816B 参数、百万 token 上下文并支持多模态,权重已上 Hugging Face,可了解其与 Qwen、GLM、Kimi 的定位差异。

  4. The Verge · AI80

    Meta 发布 Muse Spark Open 模型,与 Apple 合作在 Mac 上本地运行

    Meta 发布 Muse Spark Open 开源权重模型,总参数量 8160 亿,自称是迄今能力最强的美国开源权重模型,也是同类中首个能在两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 上本地运行的模型。

    推荐理由:Meta 发布 816B 参数开源权重多模态模型,并首次与 Apple 合作通过 MLX 在两台 Mac Studio 上本地运行。

  5. The Decoder74

    Google 发布 Gemini 4 Argon,瞄准机器人全流程单一模型

    Google 发布 Gemini 4 Argon,定位为覆盖机器人控制、仿真环境构建与训练数据评估的通用模型,并称其是迈向物理 AGI 的一步。演示中 Argon 用 MuJoCo 仿真让 Spot 练习踩踏板扔易拉罐,还从单张照片生成 77 项任务和 4500 多个训练回合,使真机成功率从 56% 升至 75%、执行时间从 35 秒降至 24 秒。

  6. The Decoder78

    NVIDIA 发布 Nemotron 3.5 Super VL 开源多模态模型及两款 Bolt 端侧模型

    NVIDIA 发布 Nemotron 3.5 Super VL,一个 120B 参数的开源多模态模型,面向持续在后台运行的企业智能体,处理文本、图像、文档和视频,采用 MoE 架构,每个 token 仅激活 120B 中的 12B 参数。

    推荐理由:NVIDIA 发布 120B 开源多模态模型与两款端侧小模型,公开权重、数据集和训练配方,并给出吞吐与压缩数据。

10月15日周四
  1. NVIDIA Blog78

    NVIDIA 扩展 Nemotron 家族,发布 120B 开源模型 Super VL 与两款 Bolt 边缘模型

    NVIDIA 发布 Nemotron 3.5 Super VL,一个 120B 参数的开源多模态模型,面向常驻智能体任务,官方称其吞吐量最高可达同类模型的 5 倍,精度接近 NVIDIA 最大推理模型而参数量约为其五分之一。

    推荐理由:NVIDIA 发布 Nemotron 3.5 Super VL 与两款 Bolt 边缘模型,覆盖从数据中心到桌面的智能体部署,并公开权重与数据集。

10月14日周三
  1. 量子位78

    面壁开源 MiniCPM-V 4.7:35B MoE 断网在 iPhone 上跑,仅占 3G 内存

    面壁智能与 OpenBMB 开源 MiniCPM-V 4.7,含 35B-A3B 和 1B 两个版本,前者是 MiniCPM-V 系列首个 MoE 模型,约 3G 内存即可在 iOS、安卓设备上流畅运行,解码速度每秒 13 个 token 以上。

    推荐理由:面壁开源 MiniCPM-V 4.7,35B-A3B 的 MoE 在 iPhone 上断网运行仅占约 3G 内存,可看端侧多模态的落地边界。

  2. MarkTechPost87

    Google 发布 Gemini 4 Argon API,单次输出上限提至 1M token

    Google DeepMind 将 Gemini 4 Argon 面向开发者、企业和付费 Gemini 订阅用户开放,这是原生支持文本、图像、音频、视频输入的稀疏 MoE 模型,单次响应最多可输出 1M token,输入加输出共享 1M 窗口。

    推荐理由:Gemini 4 Argon 开放 API,单次输出上限提到 1M token,但编码类基准落后于竞品,适合关注长输出与多模态输入的开发者。

  3. Hacker News · Show HN50

    Hugging Face 发布 interfaze-1.1-lite:首个面向确定性任务的开放权重模型

    Hugging Face 发布开放权重模型 interfaze-1.1-lite,面向 OCR、带说话人分离的 STT、分类等有确定性答案的任务。该模型由一个推理核心和文档阅读、行检测、语音识别、分割等专家模型组成,核心负责调度专家并按用户 JSON schema 输出答案,专家模型提供边界框、词级时间戳及每行每词的置信度分数,原始输出随答案一并返回以便过滤。

  4. Hacker News · Front Page88

    Google 发布 Gemini 4 Argon,支持 1M 输出 token 与长程智能体任务

    Google 发布 Gemini 4 Argon,面向 Google AI Pro 和 Ultra 订阅用户开放,支持 1M 输出 token,可一次完成 100K+ token 的推理轨迹、完整多文件应用生成与大型遗留代码翻译。

    推荐理由:Google 发布 Gemini 4 Argon,主打 1M 输出 token 与长程智能体能力,并给出与 GPT-6 Astra、Claude 系列的逐项基准对比。

  5. Google AI Blog92

    Google 发布 Gemini 4 Argon,主打复杂工程与科研任务

    Google 发布前沿模型 Gemini 4 Argon,今日起通过 API、AI Studio、Gemini 平台、Google Antigravity 及 Gemini 应用和 Search 的 AI Mode 全球上线,输入 $2/百万 token、输出 $10/百万 token,缓存输入享 95% 折扣。

    推荐理由:Google 发布 Gemini 4 Argon,官方给出编码、科研与安全对齐的具体数据,可了解前沿模型在真实工程任务中的落地方式。

  6. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和消费者开放,通过 AI Studio、Gemini API、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 提供,API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。

    推荐理由:Google DeepMind 发布 Gemini 4 Argon,官方给出编码、科研与安全对齐的具体数据,可了解新前沿模型的能力边界与定价。

10月13日周二
  1. 极客公园60

    复旦邱锡鹏团队创立的模思智能完成超10亿元Pre-A轮融资

    模思智能宣布完成超10亿元Pre-A轮融资,由华控基金领投,国开科创、上海科创基金等参与,老股东元禾控股等持续投资,距天使轮官宣约半年。这家由复旦大学邱锡鹏教授创立、成立不到两年的公司聚焦全模态实时交互,2026年以来围绕语音、视觉和实时多模态发布20多个模型,其中7月开源的MOSS-VL-Realtime可持续接收视频流并随画面更新判断。

10月12日周一
  1. 量子位78

    何恺明团队发布多模态 Harness 框架 VISTA

    何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出视觉原生 Harness 框架 VISTA,让现有多模态模型直接观察环境、保存原始画面,并在推理时随时回看、放大和检查细节,无需从头训练。

    推荐理由:何恺明团队提出视觉原生 Harness,让现有多模态模型保存原始画面并按需回看,无需重新训练即可提升交互式视觉推理表现。

10月11日周日
  1. The Decoder62

    Odyssey 开放世界模型 Odyssey-3 免费研究预览

    Odyssey 面向公众开放世界模型 Odyssey-3 的研究预览,用户可用文本提示词生成可实时探索的交互环境,开发者可申请 API 访问。免费在线演示基于 Odyssey-3 Flash,支持第一人称与第三人称视角,模型基于自回归扩散 Transformer 逐帧生成视频,基础版 14B 参数、832 × 480 分辨率,Pro 版支持 1280 × 720。

10月10日周六
  1. Hacker News · Show HN62

    Pose Lab:在 Blender 中测量手臂与步枪姿态的 MCP 工具

    Pose Lab 是一个 MCP 工具,为 Blender 中第一人称手臂与步枪的姿态提供可测量的空间答案,解决模型难以从图片判断 3D 空间的问题。它报告命名坐标系下的位置、穿模深度、表面朝向与可见性,并可用 solve 搜索步枪动作是否满足目标,用 scan_clip 逐帧检查动画、fix_clip 修复失败帧。

10月9日周五
  1. 量子位62

    Aether AI 公布 CRIS-0 机器人系统 Demo,0.2 秒急停、2 秒内重规划

    Aether AI 公布其因果智能机器人系统 CRIS-0 的官方 Demo,该系统由 UCSD 助理教授、CMU 因果学派学者黄碧薇创立。在咖啡制作干扰测试中,CRIS-0 平均 2 秒内识别因果变量变化并完成重规划,10 次随机扰动中 9 次有效恢复;在客厅长程整理任务中可连续执行数十步,并在人手突然插入时 0.2 秒急停。

10月8日周四
  1. The Decoder85

    OpenAI 为 ChatGPT 上线 GPT-6,用 Intelligent UI 取代纯文本输出

    OpenAI 面向所有 ChatGPT 用户推出 GPT-6,并带来名为 Intelligent UI 的新功能,回答以图形、按钮、图表和表单等交互界面呈现,格式会随问题自动调整,用户还能在对话内生成储蓄计算器、小游戏等小工具。

    推荐理由:OpenAI 为 ChatGPT 上线 GPT-6 的 Intelligent UI,答案从纯文本变为图表、按钮和表单,付费与免费用户分版本分批开放。

  2. TechCrunch · AI78

    OpenAI 随 GPT-6 推出 Intelligent UI,ChatGPT 界面转向可视化

    OpenAI 推出名为 Intelligent UI 的新界面,随 GPT-6 一同上线,在对话中大量加入可交互的按钮、定制计算器、交互式图表和可编辑图形,目标是让复杂主题更易学习。该功能面向 Pro、Plus、Business 和 Enterprise 用户全球铺开,免费与低价 Go 档用户周四可用,用户可自行调低回复中的可视化程度。

    推荐理由:OpenAI 随 GPT-6 推出 Intelligent UI,把可交互图表和按钮放进对话,并说明各档位的上线时间与可调选项。

10月7日周三
  1. TechCrunch · AI58

    Google Labs 推出 AI 游戏创作平台 Playground

    Google Labs 发布 AI 游戏创作平台 Playground,用户通过简单文本提示即可构建浏览器游戏,无需编程经验。用户可选择问答、竞速等类型,指定 2D 或 3D、单人或多人在线,并描述玩法机制与视觉风格,还能上传素材由 AI 转化为符合整体美术风格的游戏资产。