跳到正文

语音与音频

AI 语音与音频:语音合成、实时语音对话、语音识别、音乐生成与音频理解的模型和产品动态。

14条精选相关主题多模态AI 视频MiniMax

最新精选

第 1–14 条 · 共 14 条
今天10月16日周五
  1. Hugging Face Blog(hf-mirror 镜像)62

    IBM 发布 Granite Switch 4.1:单一端点同时支持对话、决策与语音

    IBM 发布 Granite Switch 4.1,包含 Granite-Switch-4.1-8B 和 -30B,在基座模型上组合通用决策 aLoRA、Guardian 安全决策 aLoRA 以及 OpenASR 榜单上最快的 ASR 模型 Granite-Speech-5.0-Turbo-CTC,全部能力共用一个托管端点,GPU 显存占用与基座模型单独运行大致相当。

    推荐理由:Granite Switch 4.1 把决策适配器与 ASR 模型组合进单一端点,显存占用接近基座模型,可了解多能力复用 KV cache 的部署思路。

9月25日周五
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的实时对话模型上加入近实时视频生成,实现带口型同步和自然表情的视觉形象对话,已在 Gemini Enterprise 上线。

    推荐理由:Gemini 3.8 Live 新增实时视频形象能力,支持边对话边后台调用工具,已在 Gemini Enterprise 上线。

9月23日周三
9月16日周三
9月10日周四
  1. OpenAI News62

    OpenAI 在 API 中推出 GPT-Live-1 语音模型

    OpenAI 在 API 中推出 GPT-Live-1,为开发者提供自然的全双工语音对话能力,并增强了指令遵循、支持自定义音色和电话(telephony)接入。

    推荐理由:OpenAI 在 API 中上线 GPT-Live-1,支持全双工语音对话、自定义音色与电话接入,语音类应用可直接调用。

9月4日周五
  1. TLDR AI80

    TLDR AI 日报:GPT-6 Astra、Grok Bot 企业版与 Runway 世界模型

    TLDR AI 汇总当日多条动态,OpenAI 发布 GPT-6 Astra,称其是公司部署范围最广的最强模型,也是首个达到 Preparedness Framework 中 Critical 网络安全等级的模型,系统卡提到它比 GPT-5.6 Sol 更能抵御越狱和提示词注入,但更擅长控制自身思维链,在对抗条件下可能绕过监控。

    推荐理由:汇总当日多条 AI 动态,含 Nvidia 收购 Hugging Face、GPT-6 Astra 系统卡与 Runway 世界模型等关键事实。

8月27日周四
  1. Google DeepMind62

    Google 发布 Gemini 3.5 Transcribe 语音转文字模型

    Google 发布语音转文字模型 Gemini 3.5 Transcribe,可直接把原始音频转成准确、格式化后的文本,支持自动纠错、去除口头语和自定义词汇。据 Artificial Analysis 测量,流式场景平均 WER 为 4.0%,非流式为 2.6%,最终转写时间较前代 Chirp 3 改善 70%。

    推荐理由:Google 发布语音转文字模型 Gemini 3.5 Transcribe,公开流式与非流式 WER 数据,并说明开发者如何通过两套 API 接入。

8月21日周五
  1. Hugging Face Blog(hf-mirror 镜像)62

    Hugging Face 研究量化语音识别中的基准优化现象

    Hugging Face 发布研究,用共识分歧、掩蔽实体检索和拼写切换三项探针量化 ASR 模型的基准优化行为,测试 11 个开源 ASR 模型后发现多个高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,即使音频与之矛盾或相关词已被静音。

    推荐理由:用三项探针量化 ASR 模型的基准优化行为,并给出可复用的检测脚本与榜单标签页。

8月11日周二
  1. Hugging Face Blog(hf-mirror 镜像)60

    NVIDIA 发布 Magpie TTS 多语言模型,新增阿拉伯语、韩语和巴西葡萄牙语

    NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,364M 参数,支持 12 种语言,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,并扩展了印地语和日语的语码转换能力。

    推荐理由:NVIDIA 开源 364M 参数多语言 TTS 模型,新增三种语言并给出各 GPU 上的首音频延迟数据,可自部署微调。

7月15日周三
  1. Hugging Face Blog(hf-mirror 镜像)60

    Hume 发布 Real World VoiceEQ 语音 AI 人类质量基准

    Hume 发布 Real World VoiceEQ,一个评估语音交互人类质量的基准,覆盖 40 多个专有和开源语音模型、15 个以上评估维度和 60 多项指标,涵盖 ASR、TTS、S2S 和语音理解。

    推荐理由:Hume 发布语音 AI 人类质量基准,覆盖 40 多个模型和 15 个维度,指出传统基准高估真实表现。

7月1日周三
  1. Hugging Face Blog(hf-mirror 镜像)62

    HF Mirror 与 Cerebras 用 Gemma 4 打造实时语音 AI

    HF Mirror 与 Cerebras 联合演示一套开源模块化语音到语音流水线,链路为 Nvidia Parakeet 语音识别、Cerebras 上运行 Gemma 4 31B 推理、阿里 Qwen3TTS 文本转语音,最终输出语音回复。

    推荐理由:HF Mirror 与 Cerebras 联合演示开源语音到语音流水线,用 Gemma 4 加快速推理压低延迟,代码与 Demo 可直接复用。

6月9日周二
4月30日周四
4月16日周四
  1. Google DeepMind62

    Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash TTS 文本转语音模型,在 Artificial Analysis TTS 排行榜上取得 1,211 Elo 分数,并进入其高性价比象限。

    推荐理由:Gemini 3.1 Flash TTS 发布,新增音频标签控制语音风格与节奏,支持 70 多种语言,开发者可在 Gemini API 和 AI Studio 预览。