跳到正文
原文
Hugging Face Blog(hf-mirror 镜像)·· 28 天前精选AI 评分71

IBM 研究:智能体任务通过率背后的一致性差距与 ALTK-Evolve 修复方法

Your Agent Aced the Task. Will It Do It Again?

AI 导读

IBM 研究团队指出,GPT-4.1 驱动的 ReAct 智能体在 AppWorld 上 Mean@5 为 77.4%,但 Pass^5 仅 53.0%,存在 24.4 个百分点的“一致性差距”,即同一任务重复运行并非每次都成功。

推荐理由

IBM 团队提出用 Pass^k 衡量智能体稳定性,并给出把一致性差距减半的诊断与指南生成方法。

来源:Hugging Face Blog(hf-mirror 镜像) · hf-mirror.com