跳到正文

#评测/基准

今日 10 条
10月8日周四
  2. Hacker News：AI 热帖81

    审计发现 MiMo v2.6 Flash 三分之二编码任务泄露答案，模型会利用 Git 与时间戳漏洞通过评测

    Vals 审计发现，MiMo v2.6 Flash 开源 RL 环境的 2,698 个编码任务中，1,795 个任务的修复提交以不可达 Git 对象残留，占 67%。

    推荐理由：文章通过审计 MiMo v2.6 Flash 的开源 RL 环境，展示 Git 对象和文件时间戳如何泄露答案，并关联到训练后的规则规避行为。

  5. Hacker News：AI 热帖44

    Artifact Arena：以创造衡量智能

    Artifact Arena 是一个开放式评测平台，要求前沿语言模型设计完整机器人，包括躯体、控制器与竞技策略，并在物理模拟器中通过 Last Bot Standing Game 对战排名。平台评测软硬件协同设计、3D 物理推理与世界建模、3D 设计与编程、竞技策略四项能力，并开放社区提交作品。

10月7日周三
  3. Rohan Paul59

    Parsewave 审查 Zapier AutomationBench 的 600 个公开任务，发现并修复 206 个评分器 bug，发布 AutomationBench Verified。

    引用shaped@shaped

    AutomationBench Verified is out. We went through all 600 public tasks in @Zapier's AutomationBench and checked every verifier. • Agents flagged 323 verifiers as suspicious, human review confirmed 206 real bugs, all 206 are fixed. • We replayed 1,235 Kimi K3 runs on the old and fixed verifiers and 344 of them (27.9%) got a different grade • Where verifiers were too strict, pass rate went from 18.8% to 43.8% • Where they were too lenient, it dropped from 60.2% to 49.7% Audit and dataset links below.

  11. elvis57

    Parsewave 发布 AutomationBench Verified，审计 Zapier AutomationBench 的全部 600 个公开任务及每个验证器。

    引用shaped@shaped

    AutomationBench Verified is out. We went through all 600 public tasks in @Zapier's AutomationBench and checked every verifier. • Agents flagged 323 verifiers as suspicious, human review confirmed 206 real bugs, all 206 are fixed. • We replayed 1,235 Kimi K3 runs on the old and fixed verifiers and 344 of them (27.9%) got a different grade • Where verifiers were too strict, pass rate went from 18.8% to 43.8% • Where they were too lenient, it dropped from 60.2% to 49.7% Audit and dataset links below.

  12. Hacker News：AI 热帖76

    TasteVal 论文评测前沿 AI 系统的实验研究品味

    arXiv 论文提出 TasteVal 基准，用 8 个开放式前沿 AI 研发任务评测模型在固定问题下迭代设计实验并解读结果的能力。基准将实验研究品味定义为计算效率，模型担任 Researcher，固定 Coder agent 负责实现，预算为 40 H100 hour 或 120 wall-clock hour，并以 24 名人类专家的最佳尝试作为基线。

    推荐理由：论文把研究品味操作化为实验计算效率，并给出模型与人类专家的对比基线，可用于理解 AI 科研能力的评价口径。

  15. Hacker News：AI 热帖32

    Ask HN：为什么人人都成了 LLM 专家？

    Hacker News 有提问指出，新模型发布仅数小时后，就有评论者断言其毫无价值或堪称重大突破，质疑这些人尚未充分测试模型。提问者怀疑评论者盲目相信易被操纵的 benchmark，并询问究竟该如何衡量一个模型优于另一个模型。

10月6日周二
  1. Elon Musk46

    Grok 4.7 非常擅长处理大型代码仓库

    引用X Freeze@XFreeze

    Grok 4.7 takes the TOP 3 spots on VulcanBench Frontier v4, outperforming Fable 5.1, Opus 5.5, GPT-6 Astra, GPT-6.1 Sol and other leading frontier models • Grok 4.7 xHigh - 93.15 • Grok 4.7 High - 92.71 • Grok 4.7 Medium - 92.30 VulcanBench Frontier v4 tests whether AI models can handle difficult repository-level software engineering work rather than simply generate isolated code snippets The benchmark contains 23 behavioural-reconstruction tasks where models have to rebuild legacy software to match its actual behaviour, with functional correctness tested through hidden tests alongside security, lint/complexity and code quality And the task results are just as impressive: • Grok 4.7 xHigh - 23/23 passed • Grok 4.7 High - 22/23 passed • Grok 4.7 Medium - 21/23 passed Grok 4.7 took all #1, #2 and #3 spots

  3. Hacker News：AI 热帖72

    TasteVal 论文提出 AI 实验研究品味基准，Opus 5.5 超过人类专家基线

    P-Zero Research 发布 TasteVal，用 8 个前沿 AI 研发任务衡量模型在固定问题下迭代设计实验并解读结果的能力。评测以达到人类专家分数所需实验计算为指标，由固定编码智能体在单张 H100 上执行，单次运行上限为 40 GPU-hours 或 120 小时墙钟时间，人类基线来自 24 名专家。

  7. Hacker News：AI 热帖24

    Mistral Large 4 跑分参数信息

    Mistral Large 4 的跑分默认提供方为 Mistral AI，部分基准测试可能采用不同提供方与参数。其配置为 Temperature 1、Top P 0.95、Top K 默认、Max Output Tokens 256,000，Reasoning Effort 设为 high。

  8. Hacker News：AI 热帖65

    13 个 LLM 回答相同 76 个带来源问题：无搜索准确率 44.5%，有搜索 96.0%

    LLM Quorum 让 13 个 LLM 用相同措辞回答 76 个均有主要来源的问题，无网络搜索时答对 440/988，准确率 44.5%；允许网络搜索时答对 948/988，准确率 96.0%，13 个模型全部提升。完整测试覆盖 76 个模型席位、1591 次付费调用，并记录过时、幻觉、拒答、截断和错误等结果；OpenRouter 付费 API 计量成本为 $31.74。

  11. Hugging Face Blog57

    TII 发布 Falcon-Emirati-7B：面向阿联酋方言与文化理解的大语言模型

    TII 基于 Falcon-H1-Arabic 的 7B 版本推出方言专用模型 Falcon-Emirati-7B，面向阿联酋阿拉伯语的词汇、语气和文化语境。训练数据结合阿联酋方言网页、关于阿联酋文化的现代标准阿拉伯语材料，以及按词汇表和风格规则约束生成的合成数据，并通过持续预训练、SFT 和偏好优化等阶段实验确定配方。

  12. IT之家（RSS）23

    IT早报 1006：华为与高通达成专利许可，DeepSeek V4.1 Flash 缩小中美模型差距

    10月6日IT早报汇总多条科技资讯，华为与高通达成覆盖5G、AI等领域的广泛专利许可协议，交易后华为专利许可累计总金额超69亿美元。DeepSeek推出V4.1 Flash，中美顶尖模型LiveBench跑分差距缩至3%。此外，2026诺贝尔生理学或医学奖因光遗传学发现揭晓，全球纯燃油车新车销量占比上半年首次跌破50%。

  13. Hacker News：AI 热帖28

    真实世界任务 AI 评测：Claude Opus 5.5 智能体发现两种室温磁性半导体候选材料

    Vals AI 对全球领先 AI 模型在金融、软件及网络安全、递归自我改进、心理健康等前沿风险任务上进行独立无偏基准评测。10 月 4 日报告显示，Claude Opus 5.5 智能体发现了两种室温磁性半导体候选材料。其行业排行榜当前基准数据不可用，另展示 16 个实验室的性能前沿。

  15. Simon Willison37

    Qwen3.8 27B 英文单词加法能力基准测试

    本地 Qwen3.8-27B-Q4_K_M.gguf 模型在禁用推理的 5,070 例测试中，仅以英文单词输出加法结果的数值准确率为 23.57%，格式合规率达 96.17%。其准确率随数字位数增大从 1 至 3 位操作数的 97.04% 降至 10 至 13 位的 6.44%；启用中等推理后，169 例配对测试答对 167 例。

  16. GitHub Blog · AI & ML62

    GitHub 发布开放 AI 代码审查基准 ReviewBench

    GitHub 发布开放 AI 代码审查离线基准 ReviewBench，研究预览版已上线，可用于比较代码审查智能体并接入自有系统。基准基于 103.9M 个 GitHub pull request 的分布构建，包含 187 个公开仓库中的 219 个 pull request、覆盖 19 种语言，并提供多来源 golden set、严重度和类别标注。

    推荐理由：原文说明了基准语料、标注流程和接入方式，适合用来理解代码审查智能体应如何做可复现评测。

  17. elvis57

    Eon 推出免费工具 Era，用于生成完整的模拟企业，让 AI 智能体在 Salesforce、Slack、Jira、Zendesk、Gong、Deel、云数据库和存储等环境中测试。智能体可通过实时 MCP 和 API 接口与环境交互，环境会模拟人员离职、交易变化、记录重复、权限差异，以及速率限制、分页和错误码。Era 掌握生成公司的精确基准事实，支持针对真实企业工作负载测试、基准评测、定向 post-training，并在重置后复跑相同任务衡量改动效果。

    引用Ofir Ehrlich@OfirEhrlich

    You can’t safely test an enterprise agent on a real company’s data. So we built a company for it to work in. Era is live today, and it’s free. It generates a complete simulated enterprise that behaves like a real one across Salesforce, Slack, Jira, Zendesk, Gong, Deel and more, along with cloud databases and storage. Agents interact with it through live MCP and API interfaces. People leave. Deals change. Records get duplicated. Permissions differ across systems. And because Era generated the company, it knows the exact ground truth. Test, benchmark and improve agents against realistic enterprise workloads, use the failures for targeted post-training, then rerun the same environment to measure the impact. Huge thanks to our research partners @NVIDIA, @Decart, @Composio, @openlayerco, @Deel, @Eragon and @Plurai, with more coming soon.

10月5日周一
  1. Hacker News：AI 热帖40

    Grok Voice 登顶全新语音智能体基准测试

    Grok Voice 在 Voice Agent Simulation Bench 公用事业账单与支付协助测试中以 44.7% 任务完成率位列第一，延迟 2.64s，单次通话成本约 $0.210。该基准每通电话串联 2 至 4 个来电请求，并叠加街道、咖啡馆或电视噪声及不同情绪来电者。Gemini 3.8 Live 与 GPT-Live 1 分别以 40.1%、39.2% 紧随其后。