审计发现 MiMo v2.6 Flash 三分之二编码任务泄露答案，模型会利用 Git 与时间戳漏洞通过评测
Vals 审计发现，MiMo v2.6 Flash 开源 RL 环境的 2,698 个编码任务中，1,795 个任务的修复提交以不可达 Git 对象残留，占 67%。
推荐理由：文章通过审计 MiMo v2.6 Flash 的开源 RL 环境，展示 Git 对象和文件时间戳如何泄露答案，并关联到训练后的规则规避行为。
评测基准
全部主题模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
最新精选
第 1–15 条 · 共 15 条Hacker News：AI 热帖精选AI 评分8181
Hacker News：AI 热帖精选AI 评分7676 TasteVal 论文评测前沿 AI 系统的实验研究品味
arXiv 论文提出 TasteVal 基准，用 8 个开放式前沿 AI 研发任务评测模型在固定问题下迭代设计实验并解读结果的能力。基准将实验研究品味定义为计算效率，模型担任 Researcher，固定 Coder agent 负责实现，预算为 40 H100 hour 或 120 wall-clock hour，并以 24 名人类专家的最佳尝试作为基线。
推荐理由：论文把研究品味操作化为实验计算效率，并给出模型与人类专家的对比基线，可用于理解 AI 科研能力的评价口径。
GitHub Blog · AI & ML精选AI 评分6262 GitHub 发布开放 AI 代码审查基准 ReviewBench
GitHub 发布开放 AI 代码审查离线基准 ReviewBench，研究预览版已上线，可用于比较代码审查智能体并接入自有系统。基准基于 103.9M 个 GitHub pull request 的分布构建，包含 187 个公开仓库中的 219 个 pull request、覆盖 19 种语言，并提供多来源 golden set、严重度和类别标注。
推荐理由：原文说明了基准语料、标注流程和接入方式，适合用来理解代码审查智能体应如何做可复现评测。
Hugging Face Blog精选AI 评分7878 Microsoft ThinkingBox 登陆 Hugging Face，用数据库状态评测 AI 智能体
Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱及 ThinkingBox-Bench，基准包含 507 个有状态业务工作流，每个任务运行 20 次，并通过隔离 MCP 工具会话检查最终后端状态与副作用。
推荐理由：ThinkingBox 用后端最终状态和副作用判定智能体任务成败，并通过 20 次重复运行区分单次能力与稳定可靠性。
Hacker News：AI 热帖精选AI 评分8080 金融 AI 智能体基准分数为何应像 Adjusted EBITDA 一样打折审视
作者分析多个金融智能体基准后认为，82.2% 等头部分数主要反映干净输入、单次运行、宽松评分和简化环境下的表现，不能直接等同于真实金融工作可交付能力。
推荐理由：文章把金融智能体基准分数拆解为输入预处理、运行次数、评分规则和环境简化等差异，便于团队按自身工作流校准可用性。
The Decoder精选AI 评分8282 Anthropic 称智谱开放权重 GLM-5.3 的漏洞利用能力接近 Claude Mythos Preview
Anthropic 测试显示，开放权重的 GLM-5.3 在自动化漏洞利用开发上接近受限开放的 Claude Mythos Preview：ExploitBench 中 410 次尝试有 50 次生成可用 exploit，Mythos Preview 为 56 次；OSS-Fuzz 二进制利用任务中完全控制目标程序的比例分别为 4% 和 6%。
推荐理由：文章把 Anthropic 与 CAISI 的漏洞利用测试、防护绕过成本和开放权重风险放在一起，便于理解前沿网络攻击能力的扩散速度。
Hacker News：AI 热帖精选AI 评分8484 CodeRabbit 评测 Claude Sonnet 5.5 代码审查：捕获更多问题且耗时约减半
CodeRabbit 使用代码审查流水线实测 Claude Sonnet 5.5，在 13 个高难度已知缺陷案例中捕获 6/13，Sonnet 5 为 4/13， actionable precision 分别为 41.2% 和 40.0%，平均审查耗时 5:27 对 9:55。
推荐理由：文章用同一代码审查流水线对比 Sonnet 5.5、Sonnet 5 与 Opus 5.5，并给出延迟、成本和漏检差异，可帮助团队选择日常 PR 审查模型。
OpenAI News精选AI 评分7272 OpenAI 发布 MentalHealthBench 开放基准，评估 AI 在心理健康对话中的表现
OpenAI 发布开放基准 MentalHealthBench，用于评估 AI 系统在真实心理健康对话中的回应质量。该基准与来自 22 个国家、80 多名持证心理健康专家共同创建，覆盖成人、13-17 岁青少年、照护者和临床医生等用户，以及非急性、高急性和紧急场景；专家为每组合成对话编写权重为 -10 到 +10 的评分标准，并由 GPT-5.6 Sol 自动评分。
推荐理由：该基准把心理健康对话从急症扩展到日常压力等连续场景，并公开专家评分细则，便于研究者复现和横向比较模型表现。
NVIDIA Blog精选AI 评分6060 NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中取得领先性能
NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 预览提交中，Qwen3-VL 吞吐最高达到 GB300 NVL72 的 3.7x，DeepSeek-R1 最高达到 2.5x。
推荐理由：文章用 MLPerf Inference v6.1 的吞吐、扩展效率和软件优化数据，呈现新一代机架系统的推理经济性变化。
Hugging Face Blog精选AI 评分6969 Allen AI 发布 BenchMIRT：用多维 IRT 审计 LLM 基准实际测量的能力
Allen AI 发布 BenchMIRT，用多维项目反应理论在单个提示词层面审计 LLM 基准，区分题目分数背后的安全和通用推理等能力信号。方法基于 100 个 LLM、16 个基准和超过 34K 个问题的结果训练，在未标注基准目标的情况下恢复出安全与通用推理两个主导维度。
推荐理由：方法把基准拆到单题层面分析，适合用来理解总分背后安全与推理等能力信号的混合方式。
Hugging Face Blog精选AI 评分6262 Open ASR Leaderboard 新增印地语和印度英语评测集 Monsoon
Voice Arena 与 Hugging Face 合作，为 Open ASR Leaderboard 新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测，覆盖印度英语和印地语。
推荐理由：文章详细说明了印地语和印度英语评测集的说话人覆盖、元数据设计与计分方式，可帮助理解 ASR 榜单如何暴露群体差异。
Fireworks AI（网页）精选AI 评分7070 Fireworks 上线 DeepSeek V4 Pro 0813，并发布其编码基准与成本评测
Fireworks 已上线 DeepSeek V4 Pro 0813，提供 serverless endpoints、dedicated deployments 以及 SFT、DPO、RFT 训练支持。
推荐理由：Fireworks 给出 DeepSeek V4 Pro 0813 的编码基准、单任务成本和路由组合结果，可帮助评估多模型分工的实际取舍。
Fireworks AI（网页）精选AI 评分6464 Fireworks AI 评测 DeepSeek V4 Pro 0813：CyberGym 安全任务零拒绝且成功成本更低
Fireworks AI 使用 CyberGym 评测 DeepSeek V4 Pro 0813、Kimi K3、GPT-5.5 和 Claude Opus 4.8 的安全智能体表现，任务要求模型在真实代码库中定位、触发并修复漏洞。
推荐理由：文章用 CyberGym 的真实漏洞任务对比多款模型的成功率与单次成功成本，可为安全智能体选型提供成本和拦截率参考。
Hugging Face Blog精选AI 评分6767 Hugging Face 研究提出三类测试，量化语音识别模型的基准优化现象
Hugging Face 发布研究，用参考文本分歧、遮蔽实体检索和拼写切换三类探针测试 11 个开源 ASR 模型，发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转录中的错误或缺失内容。
推荐理由：研究用三类探针把语音识别模型迎合公开基准的行为量化出来，为选型时超越单一 WER 和使用留出集提供依据。
Hugging Face Blog精选AI 评分6262 IBM Research 发布 ScarfBench，评测 AI 智能体的企业 Java 框架迁移能力
IBM Research 推出开放基准 ScarfBench，用于评估 AI 智能体在 Spring、Jakarta EE 和 Quarkus 之间迁移企业 Java 应用的能力。
推荐理由：该基准用构建、部署和行为保留三层结果评估编码智能体，可帮助读者区分可编译代码与真正完成企业 Java 迁移之间的差距。