跳到正文

评测与基准

模型到底谁强:Benchmark 成绩、评测方法论争议、榜单变化与真实场景选型对比的记录。

最新精选

第 1–6 条 · 共 6 条
10月6日周二
  1. GitHub Blog · AI & ML71

    GitHub 发布 AI 代码审查开放基准 ReviewBench

    GitHub 发布代码审查离线基准 ReviewBench,基于 1.039 亿个 PR 的分布特征构建,包含 187 个开源仓库、19 种语言的 219 个 PR,每个发现标注严重程度与类别。

    推荐理由:GitHub 发布 AI 代码审查离线基准,含 219 个 PR 与多来源标注,可自带 agent 跑分并对比排行榜。

10月4日周日
  1. Hugging Face Blog(hf-mirror 镜像)78

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再按终端后端状态和副作用判定成败,而非看模型生成的回复。

    推荐理由:微软与 Hugging Face 联合发布 ThinkingBox,用数据库终态而非模型自述来评判智能体,并给出 507 个任务重复 20 次的稳定性与成本数据。

10月2日周五
  1. arXiv · cs.AI60

    研究:Agent 任务中模型与 harness 的匹配关系

    一篇 arXiv 论文评估了 66 组配置,用 OpenHands、DeepSeek Harness、PI、openJiuwen 四种 harness 搭配五个模型,在 TUA-Bench、ALE-CLI 和 Terminal-Bench 4 上测试,并加入 Codex-GPT 与 Claude Code-Claude 原生组合。

    推荐理由:66 组模型与 harness 组合的实测显示模型排名会随 harness 反转,为选型提供了可复现的对照数据。

8月27日周四
  1. Google DeepMind60

    Google DeepMind 试点全球首个双盲 AI 评测

    Google DeepMind 宣布推出全球首个针对专有前沿 AI 模型的双盲评测,将外部评测限制在密码学隔离环境中,避免模型提前接触测试题。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境下用保密基准测试 Gemini Flash Lite。

    推荐理由:Google DeepMind 与新加坡 AI 安全研究所等机构合作,用密码学隔离环境对 Gemini Flash Lite 做双盲评测,回应基准污染问题。

8月21日周五
  1. Hugging Face Blog(hf-mirror 镜像)62

    Hugging Face 研究量化语音识别中的基准优化现象

    Hugging Face 发布研究,用共识分歧、掩蔽实体检索和拼写切换三项探针量化 ASR 模型的基准优化行为,测试 11 个开源 ASR 模型后发现多个高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,即使音频与之矛盾或相关词已被静音。

    推荐理由:用三项探针量化 ASR 模型的基准优化行为,并给出可复用的检测脚本与榜单标签页。

7月15日周三
  1. Hugging Face Blog(hf-mirror 镜像)60

    Hume 发布 Real World VoiceEQ 语音 AI 人类质量基准

    Hume 发布 Real World VoiceEQ,一个评估语音交互人类质量的基准,覆盖 40 多个专有和开源语音模型、15 个以上评估维度和 60 多项指标,涵盖 ASR、TTS、S2S 和语音理解。

    推荐理由:Hume 发布语音 AI 人类质量基准,覆盖 40 多个模型和 15 个维度,指出传统基准高估真实表现。