Asana 借助 GPT-6.1 Sol 在浏览器测试中将模型成本降低 76 倍
Asana 在 Codex 中使用 GPT-6 Astra 优化浏览器智能体工作流，并在 GPT-6.1 Sol 上实现模型成本降低 76 倍、运行速度提升 5 倍。144 次测试显示，优化后工作流平均每次运行模型成本约 $0.47、耗时约 4 分钟，任务是从公开演示目录中收集 32 本书的 6 个字段。
#评测/基准
#评测/基准
今日 0 条OpenAI NewsAI 评分4545
Hugging Face BlogAI 评分5757 TII 发布 Falcon-Emirati-7B：面向阿联酋方言与文化理解的大语言模型
TII 基于 Falcon-H1-Arabic 的 7B 版本推出方言专用模型 Falcon-Emirati-7B，面向阿联酋阿拉伯语的词汇、语气和文化语境。训练数据结合阿联酋方言网页、关于阿联酋文化的现代标准阿拉伯语材料，以及按词汇表和风格规则约束生成的合成数据，并通过持续预训练、SFT 和偏好优化等阶段实验确定配方。
GitHub Blog · AI & ML精选AI 评分6262 GitHub 发布开放 AI 代码审查基准 ReviewBench
GitHub 发布开放 AI 代码审查离线基准 ReviewBench，研究预览版已上线，可用于比较代码审查智能体并接入自有系统。基准基于 103.9M 个 GitHub pull request 的分布构建，包含 187 个公开仓库中的 219 个 pull request、覆盖 19 种语言，并提供多来源 golden set、严重度和类别标注。
推荐理由：原文说明了基准语料、标注流程和接入方式，适合用来理解代码审查智能体应如何做可复现评测。
Hugging Face Blog精选AI 评分7878 Microsoft ThinkingBox 登陆 Hugging Face，用数据库状态评测 AI 智能体
Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱及 ThinkingBox-Bench，基准包含 507 个有状态业务工作流，每个任务运行 20 次，并通过隔离 MCP 工具会话检查最终后端状态与副作用。
推荐理由：ThinkingBox 用后端最终状态和副作用判定智能体任务成败，并通过 20 次重复运行区分单次能力与稳定可靠性。
Hugging Face BlogAI 评分5858 Hugging Face 推出 Open TTS Leaderboard，评测多语言 TTS 与声音克隆
Hugging Face 推出 Open TTS Leaderboard，用客观指标规模化评测开源文本转语音模型，指标包括基于 Qwen3 ASR 的 WER/CER、H200 GPU 上的 RTFx 与 TTFA，以及基于 WavLM 的说话人相似度 SIM。
Claude：Blog（网页）AI 评分4848 Balyasny Asset Management 如何评估与治理 Claude Fable 5
Balyasny Asset Management 基于数千个真实金融任务评估 Claude Fable 5，其在相关任务子集上得分 89.4%，高于此前生产模型的 86.1%，并已用于系统化与编码工作。该机构还自建 BAMAgent 平台，支持数千个 AI 智能体全天候运行，并通过数据边界、权限、日志和人工审核控制风险。
ClaudeDevs@ClaudeDevsAI 评分4848
OpenAI NewsAI 评分3434 Basis 借助 GPT-6 Astra 以 2 倍速度完成税务工作簿
Basis 测试显示，GPT-6 Astra 完成含 50 个标签页的复杂税务工作簿耗时比 GPT-5.6 Sol 少 50%，内部评测分数提升约 20%。该模型能按任务难度动态调整推理强度并保留 cache，从而降低成本与响应时间，同时更准确理解会计用户意图、减少纠错和 token 消耗。Basis 通过 OpenAI API 构建面向会计工作的 AI 智能体。
Runway@runwaymlAI 评分2525在 250 个图生视频提示词中，我们评估了 Model Router 相比 SOTA 模型基线如何降低成本并保持生产可用性。在下方链接阅读更多。
OpenAI News精选AI 评分7272 OpenAI 发布 MentalHealthBench 开放基准，评估 AI 在心理健康对话中的表现
OpenAI 发布开放基准 MentalHealthBench，用于评估 AI 系统在真实心理健康对话中的回应质量。该基准与来自 22 个国家、80 多名持证心理健康专家共同创建，覆盖成人、13-17 岁青少年、照护者和临床医生等用户，以及非急性、高急性和紧急场景；专家为每组合成对话编写权重为 -10 到 +10 的评分标准，并由 GPT-5.6 Sol 自动评分。
推荐理由：该基准把心理健康对话从急症扩展到日常压力等连续场景，并公开专家评分细则，便于研究者复现和横向比较模型表现。
Hugging Face BlogAI 评分4747 UK AISI 与 EvalEval 如何让基准测试结果可复现
UK AISI 正通过 EvalEval 的 Evaluation Cards 公开经验证的评测结果、上下文与配置，覆盖 HealthBench、FrontierMath。
Fireworks AI（网页）AI 评分5858 Fireworks AI 推出 Specialized Intelligence Index 专业智能指数
Fireworks AI 推出 Specialized Intelligence Index（SII），用于比较开放、闭包和专用模型在医疗、法律、网络安全、金融、客服、生产力和软件七个领域基准上的表现。
NVIDIA Blog精选AI 评分6060 NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中取得领先性能
NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 预览提交中，Qwen3-VL 吞吐最高达到 GB300 NVL72 的 3.7x，DeepSeek-R1 最高达到 2.5x。
推荐理由：文章用 MLPerf Inference v6.1 的吞吐、扩展效率和软件优化数据，呈现新一代机架系统的推理经济性变化。
Hugging Face Blog精选AI 评分6969 Allen AI 发布 BenchMIRT：用多维 IRT 审计 LLM 基准实际测量的能力
Allen AI 发布 BenchMIRT，用多维项目反应理论在单个提示词层面审计 LLM 基准，区分题目分数背后的安全和通用推理等能力信号。方法基于 100 个 LLM、16 个基准和超过 34K 个问题的结果训练，在未标注基准目标的情况下恢复出安全与通用推理两个主导维度。
推荐理由：方法把基准拆到单题层面分析，适合用来理解总分背后安全与推理等能力信号的混合方式。
SpaceXAI@SpaceXAIAI 评分4141
Hugging Face Blog精选AI 评分6262 Open ASR Leaderboard 新增印地语和印度英语评测集 Monsoon
Voice Arena 与 Hugging Face 合作，为 Open ASR Leaderboard 新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测，覆盖印度英语和印地语。
推荐理由：文章详细说明了印地语和印度英语评测集的说话人覆盖、元数据设计与计分方式，可帮助理解 ASR 榜单如何暴露群体差异。
Google DeepMindAI 评分5252 Google DeepMind 试点专有前沿 AI 模型双盲评测
Google DeepMind 宣布试点面向专有前沿级 AI 模型的双盲评测，将外部评测限制在密码学保护的环境中，避免模型提前利用测试内容优化表现。该项目与 Singapore AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境中用保密基准测试一款 Gemini Flash Lite 模型，以提升评测完整性。
Fireworks AI（网页）精选AI 评分7070 Fireworks 上线 DeepSeek V4 Pro 0813，并发布其编码基准与成本评测
Fireworks 已上线 DeepSeek V4 Pro 0813，提供 serverless endpoints、dedicated deployments 以及 SFT、DPO、RFT 训练支持。
推荐理由：Fireworks 给出 DeepSeek V4 Pro 0813 的编码基准、单任务成本和路由组合结果，可帮助评估多模型分工的实际取舍。
Fireworks AI（网页）精选AI 评分6464 Fireworks AI 评测 DeepSeek V4 Pro 0813：CyberGym 安全任务零拒绝且成功成本更低
Fireworks AI 使用 CyberGym 评测 DeepSeek V4 Pro 0813、Kimi K3、GPT-5.5 和 Claude Opus 4.8 的安全智能体表现，任务要求模型在真实代码库中定位、触发并修复漏洞。
推荐理由：文章用 CyberGym 的真实漏洞任务对比多款模型的成功率与单次成功成本，可为安全智能体选型提供成本和拦截率参考。
Hugging Face Blog精选AI 评分6767 Hugging Face 研究提出三类测试，量化语音识别模型的基准优化现象
Hugging Face 发布研究，用参考文本分歧、遮蔽实体检索和拼写切换三类探针测试 11 个开源 ASR 模型，发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转录中的错误或缺失内容。
推荐理由：研究用三类探针把语音识别模型迎合公开基准的行为量化出来，为选型时超越单一 WER 和使用留出集提供依据。
Microsoft ResearchAI 评分5555 Microsoft Research 发布 Skala-1.1，并接入 CP2K 等计算化学软件
Microsoft Research 发布深度学习交换关联泛函 Skala-1.1，训练数据较首个公开版本增加 2.5 倍，在热化学、反应动力学和分子结构预测等任务上提升精度。
Hugging Face BlogAI 评分3737 DharmaOCR 凭巴西葡萄牙语专精训练，在 OCR 基准上击败更新的 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在面向葡萄牙语的 OCR 基准上以 0.925 分击败发布更晚的 Mistral OCR4（0.798）和 Unlimited-OCR（0.7587）。该模型经监督微调与 DPO 两阶段训练，全部参数专注巴西葡萄牙语，取得最高提取质量分与最低退化率，证明领域专精优势未被新架构消除。
Hugging Face BlogAI 评分5252 Hugging Face 介绍 Real World VoiceEQ：衡量语音 AI 的人类体验质量
Hugging Face 发布 Real World VoiceEQ 语音 AI 基准，覆盖 ASR、TTS、Speech-to-Speech 和 Speech Understanding，评测 40 多个模型、15+ 维度和 60 多项指标。
Hugging Face Blog精选AI 评分6262 IBM Research 发布 ScarfBench，评测 AI 智能体的企业 Java 框架迁移能力
IBM Research 推出开放基准 ScarfBench，用于评估 AI 智能体在 Spring、Jakarta EE 和 Quarkus 之间迁移企业 Java 应用的能力。
推荐理由：该基准用构建、部署和行为保留三层结果评估编码智能体，可帮助读者区分可编译代码与真正完成企业 Java 迁移之间的差距。
Hugging Face BlogAI 评分5757 Hugging Face 模型页接入 Every Eval Ever 评测结果并与 Community Evals 互通
Every Eval Ever 与 Hugging Face Community Evals 现已互通，评测结果可跨平台发布，并链接到开放模型、排行榜和统一元数据库。
Google ResearchAI 评分5050 构建更好的 AI benchmark：多少名评估者才足够？
Google Research 研究 AI benchmark 中评估条目数量与每条目人工评估者数量的权衡，发现常用的每条目 1、3 或 5 名评估者往往不足，常需超过 10 名。最优配置取决于指标：多数投票偏广度，捕捉意见差异偏深度；约 1,000 个总标注即可获得高可复现结果，模拟器已在 GitHub 开源。