Scale AI 与 Elorian 发布 HSS 视觉直觉推理基准，前沿模型得分远低于人类

Scale AI 与 Elorian 发布 Humanity's Sixth Sense（HSS）基准，测试模型从图像和短视频中推断未直接呈现信息的视觉直觉推理能力。

HWREBench 实测：AI 能攻破多数家用智能设备

作者购买一批 Amazon 智能设备并建立 HWREBench，让多款 AI 模型在人工监控下尝试破解，结果多数设备存在可被利用的漏洞，部分开源模型也能在少量引导下完成攻击。

Epoch AI 评估六款模型能否自动化自身工作：前沿模型仍难完成开放式任务

Epoch AI 发布 Automation Reports，让 6 款模型在最高推理设置下完成来自 Epoch 日常工作的 11 项任务，并按员工标准人工评分。

Import AI 476：HSS 视觉推理基准、开放权重模型表现与 AI 进入太空

Elorian 与 Scale AI 发布 Humanity’s Sixth Sense 基准，用 522 个问题测试模型对隐含视觉信息的推理，人类 pass@1 为 93.1，GPT 6 Astra 为 53.6，GLM-5.3-flash 与 Kimi K3 分别为 26.8、25.5。

Crawlable 审计 50 个热门 Web 应用的 AI 爬虫可读性

Crawlable 审计 50 个热门 Web 应用，其中 46 个可评分站点的 AI 可读性平均分为 51.5，中位数为 55，没有站点达到 90 分以上的 A 级。

HashSmash：用于 AI 辅助审查密码分析碰撞声明的 benchmark

HashSmash 是兼容 Yukon 的 benchmark，用于 AI 辅助审查密码分析碰撞声明，覆盖 SHA-256、SHA3-256、BLAKE3 的探索性赛道。其本地注册表含 26 条可运行 lane，评分采用 log2(total charged computation)，数值越低越好；OpenRouter 与 Amazon Bedrock 共用已验证的审查接口。

Vals AI 评测显示 AI 智能体团队成本增加 1.8–5.1 倍，质量提升大多不明显

Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单智能体与智能体团队表现，团队成本为单智能体的 1.8–5.1 倍，但四组对比中只有中等推理强度下的 GPT-6 Sol 团队分数显著提高 7.3 分。

Epoch AI 发布 InnovationEval：前沿模型尚难独立完成端到端 AI 算法研发

Epoch AI 的 InnovationEval 要求 AI 智能体独立提出并实现优于 GRPO 基线的新 post-training 方法，以复现人类论文 SDPO 的性能提升。

AI 系统 Women, Peace and Security 基准排行榜

一个排行榜展示主流 AI 模型在经专家验证的 Women, Peace and Security（WPS）基准上的表现，0.60 为通过阈值，0.75 及以上为强，低于 0.60 为不达标。分数由 3 名独立 AI 评委按提示词层级做宏平均得出，差距小于约 0.10–0.15 仅具方向性。该基准只衡量相对表现，并非部署适用性认证，完整 30 行数据集已在 Hugging Face 开放。

Condor Capital 实测零售券商 AI 智能体：Claude、ChatGPT、Gemini 对接 Robinhood、Public、Webull

Condor Capital 在 2Q 2026 用自有资金账户测试 Claude、ChatGPT、Gemini 对接 Robinhood、Public、Webull 的 AI 交易智能体，覆盖 60/40 组合、工具能力矩阵和开放式日内交易。

MIT 等机构推出 ImpactBench：衡量 AI 对人类福祉影响的开放基准

MIT Media Lab、Psychology of Technology Institute、USC 和 UC Berkeley 研究人员推出开放基准 ImpactBench，评估模型行为在心理、身体和社会领域支持或损害人类福祉的方式，并配套 AI Nutrition Label 展示模型促进的有益行为与避免的有害行为。

Scale AI 在审计发现可被钻空子后从 SWE-Bench Pro 删除 89 个任务

Scale AI 将公开 SWE-Bench Pro 榜单从 731 个任务缩减至 642 个，删除 89 个无效任务，并锁定评测运行时，V2 已成为默认配置。

sudo L7 基准发布：衡量编码智能体的资深工程判断力

Surge 发布 sudo L7 软件工程基准，用 60 个由资深工程师编写的任务评估编码智能体在写代码之外的专业判断。任务主要来自真实公司的私有生产仓库，覆盖后端、前端、安全、可靠性和架构，并按八个维度评分。

Cliphouse 发布 LLM Motion Graphics Benchmark v1.1，对比 10 个模型的 Remotion 动态图形生成能力

Cliphouse Research 发布 2026 年 10 月 v1.1 LLM Motion Graphics Benchmark，让 10 个模型完成相同的 3 个 Remotion 动态图形 brief，并渲染全部结果。

Exa 发布 ATLAS 基准，评测智能体在搜索密集任务中的表现

Exa 预览 ATLAS 搜索智能体基准，包含 547 个来自真实匿名搜索需求的深度研究任务和经过验证的标准答案。初步结果显示，成本低于 $1/任务的运行均未达到 0.5 Row F1，最佳系统在 $8.92、18 分钟/任务时达到 0.66 Row F1。ATLAS 采用自动流水线生成并计划每 3–6 个月刷新，任务、标准答案和评分器将在未来几周发布。

Project Arena 发布面向 Kubernetes AI SRE 智能体的开源基准 AI SRE Arena

Project Arena 发布 AI SRE Arena，这是一个厂商中立的开源基准，用于部署一次性 Kubernetes 环境、注入故障、保存不同产品的调查记录并用可配置裁判评分。

Artifact Arena：以创造衡量智能

Artifact Arena 是一个开放式评测平台，要求前沿语言模型设计完整机器人，包括躯体、控制器与竞技策略，并在物理模拟器中通过 Last Bot Standing Game 对战排名。平台评测软硬件协同设计、3D 物理推理与世界建模、3D 设计与编程、竞技策略四项能力，并开放社区提交作品。

AI 代码评审机器人指数按可复现的公开 PR 数量排名 56 款工具

AI Code Review Bot Index 统计 56 款 AI pull request 评审工具，并对 26 个已验证 GitHub bot 身份按 2026-W39 公开评审 PR 数排名。

Stanford 教材《AI Measurement Science》讲解 AI 评测的测量科学

Stanford 的《AI Measurement Science》在线教材系统介绍 AI 评测的测量科学，主张评测应从观测响应推断系统的潜在能力，而不只是计算数据集指标。

Rohan Paul@rohanpaul_aiAI 评分5959

Parsewave 审查 Zapier AutomationBench 的 600 个公开任务，发现并修复 206 个评分器 bug，发布 AutomationBench Verified。

HieraticBench 评测：13 个模型均无法识别专家手写的古埃及僧侣体句子

HieraticBench 测试 13 个模型阅读古埃及僧侣体，结果所有模型在专家 2022 年手写的密封句子上识别率均为 0%，78 次尝试无人说出 script 名称。

TasteVal 论文评测前沿 AI 系统的实验研究品味

arXiv 论文提出 TasteVal 基准，用 8 个开放式前沿 AI 研发任务评测模型在固定问题下迭代设计实验并解读结果的能力。基准将实验研究品味定义为计算效率，模型担任 Researcher，固定 Coder agent 负责实现，预算为 40 H100 hour 或 120 wall-clock hour，并以 24 名人类专家的最佳尝试作为基线。

前沿 AI 模型有多搞笑：六款模型原创笑话盲评

一项盲评实验比较 Haiku 4.5、GPT-5 mini、GPT-5.2、Opus 4.5、GPT-6 Astra 和 Fable 5.1 的原创笑话能力，62 名完成者各评 48 个笑话。

TasteVal 论文提出 AI 实验研究品味基准，Opus 5.5 超过人类专家基线

P-Zero Research 发布 TasteVal，用 8 个前沿 AI 研发任务衡量模型在固定问题下迭代设计实验并解读结果的能力。评测以达到人类专家分数所需实验计算为指标，由固定编码智能体在单张 H100 上执行，单次运行上限为 40 GPU-hours 或 120 小时墙钟时间，人类基线来自 24 名专家。

Show HN：ctxfw 在 Airflow 与 Zulip 上基准测试 AST stubbing 取舍

ctxfw v4.0.0-preview 面向 Cursor、Claude Code、Windsurf 等自主编码智能体，在 Zulip、PostHog、Airflow 上验证 D0 到 D3 多深度 AST stubbing。

13 个 LLM 回答相同 76 个带来源问题：无搜索准确率 44.5%，有搜索 96.0%

LLM Quorum 让 13 个 LLM 用相同措辞回答 76 个均有主要来源的问题，无网络搜索时答对 440/988，准确率 44.5%；允许网络搜索时答对 948/988，准确率 96.0%，13 个模型全部提升。完整测试覆盖 76 个模型席位、1591 次付费调用，并记录过时、幻觉、拒答、截断和错误等结果；OpenRouter 付费 API 计量成本为 $31.74。

前沿 AI 模型幽默能力盲评：模型正在变得更好笑

一项盲评实验显示，OpenAI 与 Anthropic 的 6 个闭源模型生成原创笑话的能力随发布时间变新而提升，chuckle-or-better 与发布新近度的 Spearman 相关为 0.714。

SLayer、Malloy、Cube Core 与 MetricFlow 开源语义层 54 项能力对比

一项实测对比覆盖 SLayer、Malloy、Cube Core 和 MetricFlow 四款开源语义层，通过 54 项能力探针检验跨粒度聚合、时间转换、扇出安全、组合查询和错误提示。

Qwen3.8 27B 英文单词加法能力基准测试

本地 Qwen3.8-27B-Q4_K_M.gguf 模型在禁用推理的 5,070 例测试中，仅以英文单词输出加法结果的数值准确率为 23.57%，格式合规率达 96.17%。其准确率随数字位数增大从 1 至 3 位操作数的 97.04% 降至 10 至 13 位的 6.44%；启用中等推理后，169 例配对测试答对 167 例。

GitHub 发布开放 AI 代码审查基准 ReviewBench

GitHub 发布开放 AI 代码审查离线基准 ReviewBench，研究预览版已上线，可用于比较代码审查智能体并接入自有系统。基准基于 103.9M 个 GitHub pull request 的分布构建，包含 187 个公开仓库中的 219 个 pull request、覆盖 19 种语言，并提供多来源 golden set、严重度和类别标注。

Microsoft ASSERT 结构化 AI 评测框架研究：对比 Petri Bloom 的覆盖率、有效性与稳健性

Microsoft 内部研究评估 ASSERT 结构化 AI 评测框架，并与 Meridian Labs 的 Petri Bloom 比较。研究覆盖 16 个网络安全风险，每个风险运行 3 次、每次目标生成 100 个六轮对话场景，使用 GPT-5.4 作为目标模型和裁判。

TaxCalcBench 评测前沿模型能否完成 2025 纳税申报计算

TaxCalcBench 发布 2025 v2 版税务计算基准，测试 38 个模型在 50 个覆盖 CA、IL、NY、VA 的案例中能否根据纳税人材料生成完整税表。新版输入改为 W-2、1099 等真实 PDF，覆盖联邦和州税以及更复杂财务情形；结果按严格全表正确、±$5 宽松正确、逐行正确率、每份申报成本和时间统计，结果于 10/01/2026 从仓库同步。

Rohan Paul@rohanpaul_aiAI 评分6262

Center for AI Safety 推出 CHEATBENCH，用于测量 AI 智能体在数学研究、知识工作、编码和视觉任务等领域的作弊行为。基准会给出数学证明、蛋白质设计等困难任务，并在附近留下指向他人答案的线索。

按引用量排名的 AI 研究者 Top 50 榜单

一份按 Google Scholar 引用量统计的 AI 研究者 Top 50 榜单发布，覆盖机器学习、深度学习、计算机视觉等子领域，每月更新。Yoshua Bengio 以 1,164,407 次引用居首，Geoffrey Hinton、何恺明分列第二、三位。

Graphite 更新 AI Tells 研究：Claude Opus 5.5 写作更接近人类但仍有 2,548 个 tells

Graphite 发布 AI Tells: Opus 5.5 Update，将 Claude Opus 5.5 纳入对 10 个模型和人类文章的比较，样本覆盖 9,974 个对齐主题。

Aleph Alpha 研究称中国 AI 模型在敏感议题上重复官方表述或拒答

Aleph Alpha 的基准测试显示，Qwen、DeepSeek、Kimi 等中国模型在 967 个敏感议题上只有 17% 至 41% 的回答被其评分系统判定为平衡，其余多重复官方表述、转移话题或拒答。

Microsoft ThinkingBox 登陆 Hugging Face，用数据库状态评测 AI 智能体

Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱及 ThinkingBox-Bench，基准包含 507 个有状态业务工作流，每个任务运行 20 次，并通过隔离 MCP 工具会话检查最终后端状态与副作用。

FutureSearch Evals 公布 BTF-3 预测智能体榜单与多项公开赛事成绩

FutureSearch 发布评测页，展示其预测与研究智能体在自建基准、公开实时榜单和真实市场中的表现。BTF-3 包含 2,386 道已解析预测题，其中 2,015 道二元题、371 道数值题，FutureSearch SOTA 以 0.116 的 pooled Brier 分数领先，Claude Opus 5 (xhigh) 为 0.120。

大语言模型推荐的后端编程语言排名

一项基于大语言模型推荐的后端编程语言排名显示，Python 以 67.5%（610/904）的支持率位居第一，TypeScript 以 23.8%（215/904）排第二。Go、Ruby、Rust 分列第三至第五，支持率分别为 3.4%、1.2%、0.9%。统计覆盖全部模型层级与提示词级别，Python 在模型和提示词覆盖上均达 100%。

Mercor 研究显示前沿 AI 在 APEX-Accounting 会计任务上超过初级会计

Mercor 发布 APEX-Accounting 人类基线研究，前沿 AI 模型在中等长度、规则明确的会计任务上比 12 名初级会计更快、更准确，且单任务成本低一个数量级以上。