文本之外的能力：视觉理解、图文混合输入输出、跨模态推理与文档解析的模型和产品进展。
康泰纳仕与 AWS 生成式 AI 创新中心基于 Amazon Bedrock、Amazon OpenSearch Service 和 TwelveLabs Marengo 嵌入模型，构建了跨视频转录、画面与音频的意图语义检索方案，把单次内容发现任务从平均 250 分钟降到约 2 分钟。
推荐理由：康泰纳仕用 Amazon Bedrock 与 TwelveLabs Marengo 搭建多模态视频检索，把单次找片从 250 分钟压到约 2 分钟，架构与经验可迁移。
微软研究院发布 Quine，一个面向生物学复杂性的 AI 研究系统，由跨序列、结构、功能、细胞状态和成像数据联合训练的多模态世界模型，以及连接模型、科学工具、文献和实验人员的 harness 组成。
推荐理由：微软研究院发布面向生物学的研究系统 Quine，用多模态世界模型加 harness 连接模型、工具与文献，在胰腺癌化合物筛选中一个周末完成候选排序。
AMD 以 82 亿美元收购 World Labs，后者自 2024 年成立以来专注空间智能，并收购 SceniX 布局机器人仿真。World Labs 近期发布的 Atlas 是首个此类 omni 模型架构，从 2D 图像输入预测新视角，性能超过专用模型，解决了计算机视觉中长期存在的稀疏重建问题，可用于机器人 RL 环境、场景生成和真实世界重建。
推荐理由：AMD 以 82 亿美元收购 World Labs，其 Atlas 模型用生成模型结合多视图几何解决稀疏重建问题。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在 Gemini 3.8 Live 的实时对话模型上加入近实时视频生成，实现带口型同步和自然表情的视觉形象对话，已在 Gemini Enterprise 上线。
推荐理由：Gemini 3.8 Live 新增实时视频形象能力，支持边对话边后台调用工具，已在 Gemini Enterprise 上线。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型，前者面向角色设计与逐句表演控制，后者面向高并发、低成本的配音与语音智能体场景。
推荐理由：Google 发布两款 TTS 模型，支持自然语言定制音色与逐句导演，并给出基准排名与开放渠道。
Hugging Face 发布 Workflow1111，用 Gradio Workflow 把 AUTOMATIC1111 的大部分功能重建为一张画布，由 11 条媒体流水线和 73 个节点组成，覆盖文生图、高清修复、图生图、提示词矩阵、VLM 反推、检测生成 inpaint 掩码、ControlNet 风格标注器、背景移除、PNG Info 与图生视频。
推荐理由：用 Gradio Workflow 把 AUTOMATIC1111 的功能重建成 73 节点画布，输出节点可直接当 REST 接口和 MCP 工具调用。
Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 上推出智能体视频理解功能，通过智能体循环调用原生视频工具动态搜索和检查视频片段，替代固定 1 FPS 的静态处理，视频分析 token 消耗最多降低 88%、成本最多降低 66%、准确率最多提升 7%。
推荐理由：Gemini 新增智能体视频理解，长视频分析 token 消耗最多降 88%、成本降 66%，可通过 API 配置开启。
Google DeepMind 发布 Gemini Omni 1.1 Flash，通过 Gemini API 在 Google AI Studio 提供面向开发者的生成式视频控制能力。
推荐理由：Gemini Omni 1.1 Flash 面向开发者开放视频生成控制能力，场景延展、首尾帧插值与 4K 放大是主要变化。
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder，用于 ColBERT 式晚交互检索，PyLate 与 Stanford-NLP ColBERT 检查点可直接加载，colpali-engine 的视觉文档检索模型也能通过同一套 API 使用。
推荐理由：Sentence Transformers v6.0 新增多向量编码器，支持 ColBERT 式晚交互检索，文中给出加载、评分与索引的完整用法。
Google DeepMind 发布大规模多语言手语转文本模型 SL2T，首次把手语 AI 带入消费级产品，在 Pixel 11 的 Gboard 和 Live Transcribe 中提供 ASL 到英语的手语听写，后续将扩展更多设备和语言。
推荐理由：Google DeepMind 发布手语转文本模型 SL2T，已在 Pixel 11 的 Gboard 和 Live Transcribe 上线，可了解其数据规模与隐私处理方式。
NVIDIA 发布 Magpie TTS Multilingual 开放权重模型，364M 参数，支持 12 种语言，新增现代标准阿拉伯语、韩语和巴西葡萄牙语，并扩展了印地语和日语的语码转换能力。
推荐理由：NVIDIA 开源 364M 参数多语言 TTS 模型，新增三种语言并给出各 GPU 上的首音频延迟数据，可自部署微调。
Meta 发布多模态模型 Muse Glimmer，从 Muse 蒸馏至 30B 参数，采用 Apache 2.0 许可，面向本地智能体场景，如编码、文档分析和个人助手。
推荐理由：Meta 开源 30B 多模态模型，主打本地智能体场景，附各框架 day-0 支持与量化部署示例。
Google DeepMind 发布 Gemini Robotics ER 2，定位为机器人的高层大脑，可理解物理世界、规划多步任务，并把动作执行交给底层 VLA 模型，还能原生调用 Google Search 等工具。
推荐理由：Google DeepMind 发布面向机器人的具身推理模型，支持视频理解、任务编排与多机器人协作，已通过 Gemini API 开放。
Google DeepMind 发布 Gemini Robotics 2，包含三款模型：视觉-语言-动作模型 Gemini Robotics 2 可控制从脚到指尖的完整人形机器人与双臂机器人。
推荐理由：Google DeepMind 发布三款机器人模型，覆盖全身控制、具身推理与端侧运行，并给出可试用的入口。
Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 和面向安全的 3.5 Flash Cyber。
推荐理由：Gemini 3.6 Flash 与 3.5 Flash-Lite 发布，主打 token 效率与低延迟，并给出多项基准与定价，适合评估智能体规模化成本。
Thinking Machines Lab 发布开源多模态大模型 Inkling，采用 MoE 架构，总参数 975B、激活 41B，原生接收图像、音频和文本输入，支持 1M 上下文窗口，基于 45 万亿 token 训练。
推荐理由：Thinking Machines 发布 1T 参数开源多模态模型 Inkling，原生支持图像、音频、文本与 1M 上下文，并给出各推理引擎的部署配置。
Google DeepMind 发布 Nano Banana 2 Lite（gemini-3.1-flash-lite-image）和 Gemini Omni Flash（gemini-omni-flash-preview）两款模型。
推荐理由：Google DeepMind 同时发布图像模型 Nano Banana 2 Lite 与视频模型 Gemini Omni Flash，给出延迟、单价与能力边界，便于评估接入。
Google DeepMind 发布 Gemini 3.5 Live Translate 音频模型，支持 70+ 语言的近实时语音到语音翻译，能自动检测语言并保留说话者的语调、节奏和音高。
推荐理由：Google 发布支持 70+ 语言的实时语音到语音翻译模型，连续生成而非逐句等待，已在 Gemini Live API 和 Google 翻译中铺开。
Google DeepMind 发布 Gemma 4 12B，采用无编码器统一架构，视觉和音频输入直接进入 LLM 主干，是其中等规模模型中首个支持原生音频输入的版本。
推荐理由：Gemma 4 12B 用无编码器架构把视觉和音频直接接入 LLM，16GB 显存即可本地跑，还带 MTP 草稿模型降延迟。
Google DeepMind 发布 Gemini Omni 家族首个模型 Gemini Omni Flash，可组合图像、音频、视频和文本作为输入生成高质量视频，并通过自然语言进行多轮编辑，保持角色一致性和物理合理性。
推荐理由：Gemini Omni 家族首个模型发布，支持多模态输入生成视频并用自然语言多轮编辑，已上线 Gemini 应用和 Google Flow。