Netflix 如何构建、对齐并监控大规模 LLM-as-a-Judge
Netflix 技术博客介绍其推荐解释场景下的 LLM-as-a-Judge 全生命周期，分为基准数据构建、训练对齐、部署和人工监控四个阶段，核心原则是让评审模型始终锚定在人工判断上。
#评测/基准
#评测/基准
今日 0 条Netflix Tech BlogAI 评分7171 Hacker News · Front PageAI 评分5555 Kombai 发布 Design Creativity Bench，评测 16 个前沿模型的 UI 设计创造力
Kombai 推出 Design Creativity Bench，用原创性、创意跨度和适配度三个维度评测 AI 在 UI 设计任务上的创造力，覆盖 16 个前沿模型、80 个开放式 UI 任务，每个任务适配两个产品领域并配有人类设计师参照。
Hacker News · Show HNAI 评分6262 ai-deploy-bench：在四家云上评测编码智能体部署应用的能力
ai-deploy-bench 是一个评测 AI 编码智能体构建并部署 Web 应用能力的基准，让 Claude Code 按书面规格构建五类应用并分别部署到 Cloudish、DigitalOcean、Render 和 Vercel，再由独立验证器测试线上部署。
Hacker News · Show HNAI 评分6060 500 次测试对比 5 个 LLM 在写入失败时的重复提交表现
一项公开实验用同一 harness 和中性系统提示词，对 5 条模型路由各跑 100 次，覆盖丢失回复、限流、服务端错误、格式错误回复和错误 ID 等 10 类注入故障，考察智能体在写入超时后是否重复提交。
Hacker News · Show HNAI 评分6262 Confident AI 开源 eval-skills，为编码智能体提供自动改进技能
Confident AI 开源 eval-skills，一套面向编码智能体的 Agent Skills，覆盖从首次可检查执行、人工错误分析、验证 grader、可重复实验到生产反馈的评测流程，支持 Claude Code、Codex、Cursor 等。
量子位AI 评分6262 UniPat AI 发布 PaperBenchX：GPT-6 Astra 论文完整复现率仅 13.98%
UniPat AI 发布 PaperBenchX，从 93 篇论文构建 93 个端到端复现任务，横跨电磁、光子、化学、材料、生物、机器人等 12 个方向和 10 种领域原生科学环境，含 3168 条专家校验评分项。
WIRED · AIAI 评分5858 OpenAI 新智能体 Dots 实测：代买沙发、取消订阅表现如何
WIRED 记者 Reece Rogers 实测 OpenAI 近期发布的常驻智能体 Dots，通过 ChatGPT 语音让它代买沙发、监控商品降价并取消不必要的订阅。
Hacker News · Front PageAI 评分6060 实测四款 Photoshop 替代品：Photon Studio、OmaPhoto、PhotoCraft 与 PhotoSuite
作者实测了 Photon Studio、OmaPhoto、PhotoCraft 和 PhotoSuite 四款 Photoshop 替代品，其中三款完全开源，认为这足以反驳“vibe coding 造不出行业标准工具”的说法。
Hacker News · Show HNAI 评分6262 RigMark 发布：按编码智能体用法评测本地 AI 服务
Alex Ellis 发布开源基准工具 RigMark，用于评测 OpenAI 兼容的本地推理服务，负载包括智能体风格的散文与代码、明确标注上限的结构化输出、缓存击穿与立即重放的 prefill，以及并发请求行为。
Hacker News · Show HNAI 评分7171 安慰剂对照测试：9 个热门 Claude Code 技能中仅 2 个胜过等长中性文本
一项安慰剂对照测试比较了 9 个最受关注的编码智能体技能与等长中性文本，结果只有 ponytail 和 agent-skills 两个技能胜过安慰剂，planning-with-files 反而更差，其余 6 个无差别。
Hacker News · Show HNAI 评分6262 ILLATE 开源 parity：检验小模型能否替代微调模型
ILLATE 开源 illate-parity，从 gold 标签和两个模型的 JSONL 预测文件出发，用 10,000 次配对 bootstrap 置信区间和非劣性检验判断候选模型是否落在当前模型的给定误差范围内，输出 PASS、FAIL 或 INCONCLUSIVE，仅在 PASS 时退出码为 0，可用于 CI 门禁。
Hacker News · Show HNAI 评分7373 SelfBench 发布：用仓库自己的已合并 PR 构建私有编码智能体基准
SelfBench 发布，把仓库已合并的 PR 还原成带隐藏测试的任务，在真实代码上跑不同模型与 harness，并按准确率和单任务成本绘制帕累托前沿。每个已合并 PR 会从改动前的 commit 重建任务，PR 自身的请求作为指令，由 authoring agent 编写隐藏测试和参考解，任务需满足无解时测试失败、原实现通过、重跑仍通过并通过独立评审才会被接受。
GitHub Blog · AI & ML精选AI 评分7171 GitHub 发布 AI 代码审查开放基准 ReviewBench
GitHub 发布代码审查离线基准 ReviewBench，基于 1.039 亿个 PR 的分布特征构建，包含 187 个开源仓库、19 种语言的 219 个 PR，每个发现标注严重程度与类别。
推荐理由：GitHub 发布 AI 代码审查离线基准，含 219 个 PR 与多来源标注，可自带 agent 跑分并对比排行榜。
arXiv · cs.AIAI 评分5050 Jev 式类型化决策模型研究：标签覆盖定义，选项标签偏置源于提示词渲染
研究者在四个开放权重类型化决策模型、十一个分类任务及自建的 PolicyBench 上发现，模型答案主要跟随选项标签而非定义，即存在选项标签偏置。删除全部定义后准确率几乎不变（laya-td：0.8559 对 0.8487），而将选项改名为 A、B 后准确率提升 +0.1511。
MarkTechPostAI 评分7070 GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon 与 Claude Fable 5.1 分别适合什么任务
MarkTechPost 把 30 天内发布的四款前沿模型放在一起对比，按任务类型给出选型建议。GPT-6.1 Sol 在 DeepSWE v1.1 上与 Astra 持平。
Hacker News · Show HNAI 评分5858 DoubtBench 发布：用人类标注分歧衡量模型不确定性
DoubtBench 发布首个以人类不确定性为评分依据的基准，基于 NVIDIA HelpSteer2 构建约 7,500 道题，同时考察答案正确率和模型概率是否与人类分歧一致。
Hacker News · Show HNAI 评分6060 DoubtBench 发布：用人类标注分歧检验模型不确定性
DoubtBench 是一个基于 NVIDIA HelpSteer2 人类标注分歧构建的基准，把标注数据转成约 7,500 道 Score、Choice 和 Noul 题，同时评估模型答对率和概率是否与人类分歧一致。
Hugging Face Blog（hf-mirror 镜像）精选AI 评分7878 微软与 Hugging Face 发布 ThinkingBox：按数据库终态给 AI 智能体打分
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox，通过隔离的 MCP 工具会话运行智能体，再按终端后端状态和副作用判定成败，而非看模型生成的回复。
推荐理由：微软与 Hugging Face 联合发布 ThinkingBox，用数据库终态而非模型自述来评判智能体，并给出 507 个任务重复 20 次的稳定性与成本数据。
Hacker News · Show HNAI 评分6262 GPT-6 Astra 与 Claude 5.5 Opus 比拼编写星际争霸机器人
Hillclimb 让 GPT-6 Astra 和 Claude 5.5 Opus 各自编写 C++ 的 Protoss 机器人，基于 BWAPI、运行在原生 OpenBW 上，逐级挑战五档 Protoss 对手，从脚本演示机器人直到 Stardust。
arXiv · cs.AI精选AI 评分6060 研究：Agent 任务中模型与 harness 的匹配关系
一篇 arXiv 论文评估了 66 组配置，用 OpenHands、DeepSeek Harness、PI、openJiuwen 四种 harness 搭配五个模型，在 TUA-Bench、ALE-CLI 和 Terminal-Bench 4 上测试，并加入 Codex-GPT 与 Claude Code-Claude 原生组合。
推荐理由：66 组模型与 harness 组合的实测显示模型排名会随 harness 反转，为选型提供了可复现的对照数据。
arXiv · cs.AIAI 评分5858 Incident-Arena：让智能体跑到可靠性的最后九成
Incident-Arena 是一个人工构建的智能体 SRE 基准，包含 20 个基于真实部署开源软件的任务，每个任务把生产应用部署到临时 Kubernetes 集群，从配置层到镜像注入故障并施加持续负载。
Hacker News · Front PageAI 评分5858 DoGBench 发布用户文档生成基准，无模型得分超过 50%
DoGBench 发布首个面向用户文档生成的评测基准，评估智能体能否根据真实仓库事件判断文档是否需要更新并产出符合专家标准的补丁，292 个任务中 205 个需要改动、87 个应保持不变。
Hacker News · Show HNAI 评分6060 Proteus 发布 v0.3.0：让 agent harness 自我改写源码的框架
Proteus 是一个让任意 agent harness 自我进化的框架，接入后 harness 会在多轮 context-fresh episode 中重写自身源码，框架负责提示词、目标、评估器路由、快照、选择与测量。
Hacker News · Show HNAI 评分5050 David AI 发布 DAI-ASR-I18N：21 种语言对话语音识别与说话人分离基准
David AI 发布多语言对话语音识别与说话人分离基准 DAI-ASR-I18N，基于 21 种语言、147 小时无脚本对话数据，评测了 8 个商用系统和 6 个开放权重模型。
Hacker News · Show HNAI 评分7171 SWE-sweep 基准：不给提示时 AI 只能修复 4.7% 的 bug
研究者发布 SWE-sweep 基准，在无 bug 类型和位置提示的真实开源仓库中考察智能体自主发现并修复 bug 的能力，最高成绩为 Sol 5.6（xhigh）配合 OpenAI mini-SWE-agent 修复 4.7%，花费 7230 美元。
Hacker News · Front PageAI 评分6262 Gemini 4 Argon（High）智能、性能与价格分析
Artificial Analysis 发布 Gemini 4 Argon（High）的智能、性能与价格分析，基于 Intelligence Index v4.3.2。
Hacker News · Front PageAI 评分5858 livenerf 开源基准：追踪 Claude Opus 5.5 发布后能力漂移
livenerf 是一个只做一件事的追加式基准，用来检验模型发布后是否会变差，当前针对 2026-09-22 发布的 Claude Opus 5.5，从发布后约 2.5 天起每天跑一次、连续 30 天。
Google DeepMind精选AI 评分6060 Google DeepMind 试点全球首个双盲 AI 评测
Google DeepMind 宣布推出全球首个针对专有前沿 AI 模型的双盲评测，将外部评测限制在密码学隔离环境中，避免模型提前接触测试题。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境下用保密基准测试 Gemini Flash Lite。
推荐理由：Google DeepMind 与新加坡 AI 安全研究所等机构合作，用密码学隔离环境对 Gemini Flash Lite 做双盲评测，回应基准污染问题。
Hugging Face Blog（hf-mirror 镜像）精选AI 评分6262 Hugging Face 研究量化语音识别中的基准优化现象
Hugging Face 发布研究，用共识分歧、掩蔽实体检索和拼写切换三项探针量化 ASR 模型的基准优化行为，测试 11 个开源 ASR 模型后发现多个高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，即使音频与之矛盾或相关词已被静音。
推荐理由：用三项探针量化 ASR 模型的基准优化行为，并给出可复用的检测脚本与榜单标签页。
Hugging Face Blog（hf-mirror 镜像）精选AI 评分6060 Hume 发布 Real World VoiceEQ 语音 AI 人类质量基准
Hume 发布 Real World VoiceEQ，一个评估语音交互人类质量的基准，覆盖 40 多个专有和开源语音模型、15 个以上评估维度和 60 多项指标，涵盖 ASR、TTS、S2S 和语音理解。
推荐理由：Hume 发布语音 AI 人类质量基准，覆盖 40 多个模型和 15 个维度，指出传统基准高估真实表现。