跳到正文

多模态

文本之外的能力:视觉理解、图文混合输入输出、跨模态推理与文档解析的模型和产品进展。

最新精选

第 1–20 条 · 共 44 条
今天10月16日周五
  1. arXiv · cs.AI66

    MAI-Gym:面向移动与桌面环境的 GUI 智能体评测与 RL 训练一体化平台

    MAI-Gym 是一个开源一体化平台,把移动、电脑和网页环境下的 GUI 智能体评测、数据采集与在线 RL 训练统一到同一条 rollout 流程中,支持十项既有基准并扩展到 20000 个并行环境实例。

    推荐理由:统一 GUI 智能体的评测、数据合成与在线 RL 训练平台,并给出 9B 模型在移动与桌面基准上的结果和模拟到真机的迁移数据。

  2. Hugging Face Blog(hf-mirror 镜像)88

    Meta 发布 Muse Spark Open:816B 参数开源多模态 MoE 模型

    Meta 发布开源权重模型 Muse Spark Open,采用 MoE 架构,总参数约 816B、每 token 激活约 42B,上下文窗口最高 100 万 token,支持文本、图像、音频和视频输入并输出文本。

    推荐理由:Meta 开源 816B 参数 MoE 多模态模型,支持文本图像音频视频输入,附 vLLM、SGLang、llama.cpp 部署与 TRL 微调配方。

  3. The Decoder82

    Meta 发布开放权重模型 Muse Spark Open,816B 参数对标 Qwen、GLM 和 Kimi

    Meta 发布开放权重模型 Muse Spark Open,称其为美国最强的开放权重模型,面向编码与智能体任务,拥有 8160 亿参数(420 亿激活)、最高 100 万 token 上下文,支持文本、图像、视频和音频。

    推荐理由:Meta 重返开放权重赛道,816B 参数、百万 token 上下文并支持多模态,权重已上 Hugging Face,可了解其与 Qwen、GLM、Kimi 的定位差异。

  4. The Verge · AI80

    Meta 发布 Muse Spark Open 模型,与 Apple 合作在 Mac 上本地运行

    Meta 发布 Muse Spark Open 开源权重模型,总参数量 8160 亿,自称是迄今能力最强的美国开源权重模型,也是同类中首个能在两台搭载最新 MLX 框架的 Apple M5 Ultra Mac Studio 上本地运行的模型。

    推荐理由:Meta 发布 816B 参数开源权重多模态模型,并首次与 Apple 合作通过 MLX 在两台 Mac Studio 上本地运行。

  5. The Decoder78

    NVIDIA 发布 Nemotron 3.5 Super VL 开源多模态模型及两款 Bolt 端侧模型

    NVIDIA 发布 Nemotron 3.5 Super VL,一个 120B 参数的开源多模态模型,面向持续在后台运行的企业智能体,处理文本、图像、文档和视频,采用 MoE 架构,每个 token 仅激活 120B 中的 12B 参数。

    推荐理由:NVIDIA 发布 120B 开源多模态模型与两款端侧小模型,公开权重、数据集和训练配方,并给出吞吐与压缩数据。

10月15日周四
  1. NVIDIA Blog78

    NVIDIA 扩展 Nemotron 家族,发布 120B 开源模型 Super VL 与两款 Bolt 边缘模型

    NVIDIA 发布 Nemotron 3.5 Super VL,一个 120B 参数的开源多模态模型,面向常驻智能体任务,官方称其吞吐量最高可达同类模型的 5 倍,精度接近 NVIDIA 最大推理模型而参数量约为其五分之一。

    推荐理由:NVIDIA 发布 Nemotron 3.5 Super VL 与两款 Bolt 边缘模型,覆盖从数据中心到桌面的智能体部署,并公开权重与数据集。

10月14日周三
  1. 量子位78

    面壁开源 MiniCPM-V 4.7:35B MoE 断网在 iPhone 上跑,仅占 3G 内存

    面壁智能与 OpenBMB 开源 MiniCPM-V 4.7,含 35B-A3B 和 1B 两个版本,前者是 MiniCPM-V 系列首个 MoE 模型,约 3G 内存即可在 iOS、安卓设备上流畅运行,解码速度每秒 13 个 token 以上。

    推荐理由:面壁开源 MiniCPM-V 4.7,35B-A3B 的 MoE 在 iPhone 上断网运行仅占约 3G 内存,可看端侧多模态的落地边界。

  2. MarkTechPost87

    Google 发布 Gemini 4 Argon API,单次输出上限提至 1M token

    Google DeepMind 将 Gemini 4 Argon 面向开发者、企业和付费 Gemini 订阅用户开放,这是原生支持文本、图像、音频、视频输入的稀疏 MoE 模型,单次响应最多可输出 1M token,输入加输出共享 1M 窗口。

    推荐理由:Gemini 4 Argon 开放 API,单次输出上限提到 1M token,但编码类基准落后于竞品,适合关注长输出与多模态输入的开发者。

  3. Hacker News · Front Page88

    Google 发布 Gemini 4 Argon,支持 1M 输出 token 与长程智能体任务

    Google 发布 Gemini 4 Argon,面向 Google AI Pro 和 Ultra 订阅用户开放,支持 1M 输出 token,可一次完成 100K+ token 的推理轨迹、完整多文件应用生成与大型遗留代码翻译。

    推荐理由:Google 发布 Gemini 4 Argon,主打 1M 输出 token 与长程智能体能力,并给出与 GPT-6 Astra、Claude 系列的逐项基准对比。

  4. Google AI Blog92

    Google 发布 Gemini 4 Argon,主打复杂工程与科研任务

    Google 发布前沿模型 Gemini 4 Argon,今日起通过 API、AI Studio、Gemini 平台、Google Antigravity 及 Gemini 应用和 Search 的 AI Mode 全球上线,输入 $2/百万 token、输出 $10/百万 token,缓存输入享 95% 折扣。

    推荐理由:Google 发布 Gemini 4 Argon,官方给出编码、科研与安全对齐的具体数据,可了解前沿模型在真实工程任务中的落地方式。

  5. Google DeepMind92

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon,面向开发者、企业和消费者开放,通过 AI Studio、Gemini API、Google Antigravity 以及 Gemini 应用和 Search 的 AI Mode 提供,API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元,缓存输入 token 享 95% 折扣。

    推荐理由:Google DeepMind 发布 Gemini 4 Argon,官方给出编码、科研与安全对齐的具体数据,可了解新前沿模型的能力边界与定价。

10月12日周一
  1. 量子位78

    何恺明团队发布多模态 Harness 框架 VISTA

    何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出视觉原生 Harness 框架 VISTA,让现有多模态模型直接观察环境、保存原始画面,并在推理时随时回看、放大和检查细节,无需从头训练。

    推荐理由:何恺明团队提出视觉原生 Harness,让现有多模态模型保存原始画面并按需回看,无需重新训练即可提升交互式视觉推理表现。

10月8日周四
  1. The Decoder85

    OpenAI 为 ChatGPT 上线 GPT-6,用 Intelligent UI 取代纯文本输出

    OpenAI 面向所有 ChatGPT 用户推出 GPT-6,并带来名为 Intelligent UI 的新功能,回答以图形、按钮、图表和表单等交互界面呈现,格式会随问题自动调整,用户还能在对话内生成储蓄计算器、小游戏等小工具。

    推荐理由:OpenAI 为 ChatGPT 上线 GPT-6 的 Intelligent UI,答案从纯文本变为图表、按钮和表单,付费与免费用户分版本分批开放。

  2. TechCrunch · AI78

    OpenAI 随 GPT-6 推出 Intelligent UI,ChatGPT 界面转向可视化

    OpenAI 推出名为 Intelligent UI 的新界面,随 GPT-6 一同上线,在对话中大量加入可交互的按钮、定制计算器、交互式图表和可编辑图形,目标是让复杂主题更易学习。该功能面向 Pro、Plus、Business 和 Enterprise 用户全球铺开,免费与低价 Go 档用户周四可用,用户可自行调低回复中的可视化程度。

    推荐理由:OpenAI 随 GPT-6 推出 Intelligent UI,把可交互图表和按钮放进对话,并说明各档位的上线时间与可调选项。

10月7日周三
9月29日周二
  1. AWS Machine Learning Blog60

    康泰纳仕如何用 Amazon Bedrock 构建多模态视频检索

    康泰纳仕与 AWS 生成式 AI 创新中心基于 Amazon Bedrock、Amazon OpenSearch Service 和 TwelveLabs Marengo 嵌入模型,构建了跨视频转录、画面与音频的意图语义检索方案,把单次内容发现任务从平均 250 分钟降到约 2 分钟。

    推荐理由:康泰纳仕用 Amazon Bedrock 与 TwelveLabs Marengo 搭建多模态视频检索,把单次找片从 250 分钟压到约 2 分钟,架构与经验可迁移。