Project Arena 发布面向 Kubernetes AI SRE 智能体的开源基准 AI SRE Arena
Project Arena 发布 AI SRE Arena,这是一个厂商中立的开源基准,用于部署一次性 Kubernetes 环境、注入故障、保存不同产品的调查记录并用可配置裁判评分。
Project Arena 发布 AI SRE Arena,这是一个厂商中立的开源基准,用于部署一次性 Kubernetes 环境、注入故障、保存不同产品的调查记录并用可配置裁判评分。
KCoral 发布轻量级基准评测服务器,将 GPU 执行与智能体开发循环解耦,让多个智能体通过 HTTP 协议远程提交 kernel 评测并共享 GPU 池。它支持单 GPU、多 GPU 和多节点调度,提供请求级隔离、文件缓存、CPU 编译与 GPU 执行分离,以及封装 python、compute-sanitizer、ncu 等工具的 CLI。
GitHub 发布开放 AI 代码审查离线基准 ReviewBench,研究预览版已上线,可用于比较代码审查智能体并接入自有系统。基准基于 103.9M 个 GitHub pull request 的分布构建,包含 187 个公开仓库中的 219 个 pull request、覆盖 19 种语言,并提供多来源 golden set、严重度和类别标注。
推荐理由:原文说明了基准语料、标注流程和接入方式,适合用来理解代码审查智能体应如何做可复现评测。
Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱及 ThinkingBox-Bench,基准包含 507 个有状态业务工作流,每个任务运行 20 次,并通过隔离 MCP 工具会话检查最终后端状态与副作用。
推荐理由:ThinkingBox 用后端最终状态和副作用判定智能体任务成败,并通过 20 次重复运行区分单次能力与稳定可靠性。
Google 发布基于可信执行环境 TEE 的新一代联邦学习系统,用远程证明、机密性和完整性机制提供可验证、可审计的数据匿名化保证,并提升隐私保障与模型准确率。
Voice Arena 与 Hugging Face 合作,为 Open ASR Leaderboard 新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测,覆盖印度英语和印地语。
推荐理由:文章详细说明了印地语和印度英语评测集的说话人覆盖、元数据设计与计分方式,可帮助理解 ASR 榜单如何暴露群体差异。