David AI 发布 DAI-ASR-I18N 多语言对话 ASR 与说话人分离基准

David AI 发布 DAI-ASR-I18N，用21种语言、147小时无脚本双人对话评测语音识别和说话人分离。研究评估8个商用系统与6个开放权重模型，公开每语言2小时评测集，并在 Hugging Face 提供数据、在 GitHub 以 MIT License 发布推理和评测工具。

GPT-6.1 Sol 实测：编码与多模态生成效果逼近 GPT-6 Astra

小林coding 实测新上线的 GPT-6.1 Sol，认为其在 DeepSWE v1.1 软件工程测试和多项生成场景中已接近 GPT-6 Astra。GPT-6.1 Sol 每百万 token 常规输入价格为 2 美元、输出为 10 美元，缓存输入为 0.1 美元；作者用 SVG、3D 建模、动效、视频、游戏和 Web 网页测试，称其整体可替代 GPT-6 Sol 作为日常主力。

SWE-sweep 基准测试：编码智能体在无提示条件下自主发现并修复代码缺陷

SWE-sweep 发布开放式软件工程基准，要求 AI 智能体在只获得仓库和宽泛指令、没有 issue 描述、文件名或位置提示的情况下，自主发现并修复尽可能多的 bug。

AI 基准测试衡量什么：56 项 AI 基准对比

该内容指向一项对 56 项 AI 基准进行比较的研究，主题为这些 AI 基准实际衡量的内容。原文页面仅显示 OpenReview 浏览器验证，未提供具体基准名称、分数或研究结论。

Rohan Paul@rohanpaul_aiAI 评分4545

Adobe 论文提出将标准答案写成代码，在测试运行时实时获取结果，再由 AI 评分器核对智能体回答。在 53 个测试用例上，AI 评分器与人类专家的匹配度比使用文字描述高 29%，并减少 16% token 消耗；若没有可核对答案，其表现还不如随机。

Epoch AI 研究称 AI 推理成本自 2023 年以来每季度下降 47%

Epoch AI 报告估算，达到既定 AI 性能水平的成本自 2023 年以来每季度下降约 47%，相当于每年下降 13×。游戏类谜题降幅为每季度 39–43%，数学题为 50–52%；刚成为 SOTA 的性能平均每季度降本 66%，两年后降至 32%。

Incident Arena 用 20 个真实系统生产故障评测 AI 智能体，GPT-6 Astra pass@1 达 64.3%

Abundant 推出的 Incident Arena 要求 AI 智能体在 Frappe、Saleor 和类 Slack 系统中诊断并修复 20 个生产故障，再通过自动化结果与安全校验。

Gemini 4 Argon（High）智能、性能与价格分析

针对 Gemini 4 Argon（High）的智能、性能与价格分析，基于 Artificial Analysis Intelligence Index v4.3.2 展开。

Yuchen Jin@Yuchenj_UWAI 评分2424

Google 回来了？？？ 在各方面都优于 Astra 和 Opus 5.5。 如果这不只是刷榜，我很乐意看到他们重新加入竞赛。

CafeBench 评测：GPT-6.1 Sol 性价比突出但未达 Opus 5.5 水平

Dot 用 CafeBench 评测 GPT-6.1 Sol 和 Claude Sonnet 5.5，任务是让模型经营四家咖啡馆连锁店一年并按新增利润计分。GPT-6.1 Sol medium 平均利润 +$186,449、成本 $13.09、耗时 98 min，排名第二，仅次于 Claude Opus 5.5 medium 的 +$226,546、$8.57、22 min。

Halv 工作流在 42 次 Codex 配对运行中降低 57.1% 模型成本并追平通过率

Halv 发布自有 SWE 基准阶段性结果：在 14 个仓库任务、每任务 3 次配对运行中，Codex + Halv 与原生 Codex 均通过 25/42 次验证，记录模型成本分别为 $144.67 和 $337.50，Halv 低 57.1%。

AICostBudget 发布 2026 年 9 月 AI API 定价指数

AICostBudget 发布 2026 年 9 月 AI API 定价指数，截至 2026-09-29 覆盖 11 家服务商的 80 条公开定价记录。样本包含 67 条 token 定价记录、57 条缓存输入记录和 690 个结构化收费项；输入价格中位数为每 1M tokens $1.285，输出价格中位数为 $5.5，输出与输入价格比中位数为 5.0×。

OpenAI Dot 智能体虚拟机配置曝光：AMD EPYC 9V74、9 核与 9.73GB 内存

OpenAI 在 DevDay 发布的 Dot 智能体虚拟机现身 Geekbench 7，实例搭载 AMD EPYC 9V74，分配 9 核、9.73GB 内存和 32GB 存储，单核 1667 分、多核 9435 分。

Hugging Face 推出 Open TTS Leaderboard，评测多语言 TTS 与声音克隆

Hugging Face 推出 Open TTS Leaderboard，用客观指标规模化评测开源文本转语音模型，指标包括基于 Qwen3 ASR 的 WER/CER、H200 GPU 上的 RTFx 与 TTFA，以及基于 WavLM 的说话人相似度 SIM。

Anthropic 称智谱开放权重 GLM-5.3 的漏洞利用能力接近 Claude Mythos Preview

Anthropic 测试显示，开放权重的 GLM-5.3 在自动化漏洞利用开发上接近受限开放的 Claude Mythos Preview：ExploitBench 中 410 次尝试有 50 次生成可用 exploit，Mythos Preview 为 56 次；OSS-Fuzz 二进制利用任务中完全控制目标程序的比例分别为 4% 和 6%。

Codex GPT-6 Sol 性能追踪页正在收集新基线

MARGIN EVALS 的 Codex GPT-6 Sol 性能追踪页正从 2026 年 9 月 24 日起的运行中收集新的 GPT-6 Sol/high 基线，退化检测已暂停。页面每日在精选 SWE-Bench-Pro 子集上直接通过 Codex CLI 测试 GPT-6 Sol，不使用自定义智能体框架；当前通过率为 54%，过去 7 天为 59%，过去 30 天为 79%。

Artificial Analysis 发布 AA-AgentPerf-Local，用于评测笔记本和工作站上的本地 AI 智能体

Artificial Analysis 开源 AA-AgentPerf-Local，通过回放 8 个真实智能体任务、168 个模型轮次和约 56K tokens 上下文来测试本地推理性能。

CAISI 评估 Z.ai GLM-5.3 的网络安全能力

CAISI 评估认为，Z.ai 于 2026 年 8 月 14 日发布并在两周后开放权重的 GLM-5.3，是迄今网络安全能力最强的开源权重模型，但综合表现仍比当前美国前沿模型低约四个月。

MiniMax M3.1-Flash-Preview 实测：对比 DeepSeek V4.1 Flash 与 GLM 5.3 Flash

MiniMax M3.1-Flash-Preview 正处于公测阶段，可在 MiniMax Code 和 Token Plan 调用，作者实测认为其速度质量比突出。

心理量表评测显示 Claude Sonnet 5.5 焦虑与顺从感明显下降

Claude Sonnet 5.5 在 IPIP-50 神经质量表上的平均分为 1.16，低于 Sonnet 4.6 的 2.00，下降 0.84；外向性、宜人性等 Big Five 维度变化较小。

LabBench 评测 AI 智能体能否决定下一步湿实验

Gamow Labs 发布 LabBench，用药物发现和基因组学真实湿实验记录构建 20 个留出任务，评测 AI 智能体在隐藏实验室结论时决定下一步实验的能力。

livenerf 开源：用 30 天基准追踪 Claude Opus 5.5 发布后是否变弱

livenerf 是一个追踪模型发布后能力漂移的开源追加式基准，当前通过 Claude Max 订阅和 headless Claude Code 每日测试 Claude Opus 5.5。

Elon Musk@elonmuskAI 评分3535

Grok 4.7 在 AA 网络安全指数中排名第一

Pluralis：迈向面向 AI 风险的多文化、多模态、多语言评测基准

研究团队推出 Pluralis v0.1，这是一个以文化优先视角构建的多模态、多地区、多语言 AI 风险数据集。该数据集覆盖 6 个亚太国家、8 种语言和 6,448 条 prompts，并配套 Judge-Pluralis 评测方法。测试显示，视觉语言模型存在图像误识别、忽略物品—情境—地域交互及拒绝不当等本地化失败模式。

Microsoft 开发者布道师分析：新 OpenAI 模型的编码能力为何不能只看 SWE-bench

Microsoft Principal Developer Advocate Waldek 撰文指出，SWE-bench 等公开基准只能筛选模型的基础编码能力，不能预测其在团队私有 SDK、AGENTS.md、扩展栈和实际 harness 中的表现。

StarTree 实测开放湖仓表高并发分析：外部 Parquet 表达到 125,300 QPS

StarTree 基于 Apache Pinot 测试直接查询 S3 中外部 Parquet 表的高并发分析性能，12 节点集群在 TPC-H Q6 SF1 上实现 11,996 QPS、19.2 ms P90，扩展到 150 台服务器后达到 125,300 QPS、186 ms P90。

GPT-6.1 Sol (Max) 智能、性能与价格分析

该分析围绕 GPT-6.1 Sol (Max) 的智能、性能与价格展开，评估维度包含更新后的能力指数、智能指数对比、token 使用成本、上下文窗口，以及按每秒输出 token 计的速度。性能指标还涵盖首 token 延迟，并依据首 token 时间、推理模型思考时间和输出速度计算输出 500 token 的端到端响应时间。

GPT-6.1 Sol 发布：Artificial Analysis 汇总智能、性能与价格

Artificial Analysis 页面介绍 OpenAI GPT-6.1 Sol 的发布信息，并用 Intelligence Index v4.3.2 评估其智能、成本、速度和行业能力。

François Chollet@fcholletAI 评分2424

如何测试人工智能的人类级通用性？ “能够在 ARC-AGI-(n+1) 发布后立即通过它，这一元基准”

CodeRabbit 评测 Claude Sonnet 5.5 代码审查：捕获更多问题且耗时约减半

CodeRabbit 使用代码审查流水线实测 Claude Sonnet 5.5，在 13 个高难度已知缺陷案例中捕获 6/13，Sonnet 5 为 4/13， actionable precision 分别为 41.2% 和 40.0%，平均审查耗时 5:27 对 9:55。

Dyad 评测显示同一前沿模型在物理建模任务中受 harness 影响大于换模型

JuliaHub 文章对比 Dyad Agent 与 Claude Code 两种 harness，固定使用 claude-opus-4-8、相同库、文档和 4 道密封物理题，每题 12 次试验共 96 次运行。

Diogo Almeida@CompleteSkepticAI 评分2828

我们上线快两周了！应大家极其强烈的要求，我们正在让随 http://evals.typesafe.ai 发布的数据集更易于使用！ 我们本着开放的精神做这件事，但我仍然反对公开排行榜。本着同样的精神，我们会弃用所有用于评测的数据集（无论是内部还是公开的）。(1/3)

29 个 AI 编码模型基准测试：仅 46% 的任务会说明假设

一项针对 29 个 AI 编码模型的基准测试显示，模型在任务存在歧义时只有 46% 的情况会说明所采用的假设。每个模型以智能体方式完成相同 60 个请求，任务覆盖 13 类工作，并分别在 11 个开源 job-queue 项目和 11 种语言的私有项目上运行。

Claude Code 在 Supabase、Neon 和 Postgres MCP Pro 上优化同一 Postgres 慢查询的对比测试

Good Timing 让 Claude Code 使用 Claude Opus 5 在 Supabase、Neon 和 Postgres MCP Pro 上优化同一 Postgres 慢查询，要求把 34 秒查询提速至少 10 倍。

8 个多模态模型接受 2,000 张动物痕迹照片识别评测

作者用 2,000 张动物粪便、脚印、羽毛、蛋和骨骼照片测试 8 个模型识别留下痕迹的物种，Claude Opus 5.5 以 37.15% 的精确物种正确率领先，Muse Spark 1.3 和 GPT-6 Astra 分别为 33.35%、31.70%。

Gemini 4 Pro 泄露基准测试显示 Google 有望重返 AI 性能榜首

Google DeepMind 未发布的 Gemini 4 Pro 泄露基准显示，其在 DeepSWE v1.1、Terminal-Bench 2.1、OSWorld 2.0 上分别得到 88.7、95.3、86.8，领先 Claude Opus 5.5 和 GPT-6 Astra。

Balyasny Asset Management 如何评估与治理 Claude Fable 5

Balyasny Asset Management 基于数千个真实金融任务评估 Claude Fable 5，其在相关任务子集上得分 89.4%，高于此前生产模型的 86.1%，并已用于系统化与编码工作。该机构还自建 BAMAgent 平台，支持数千个 AI 智能体全天候运行，并通过数据边界、权限、日志和人工审核控制风险。

测试显示 Claude Opus 5.5 破折号使用量较 Opus 5 下降约 95%、分号下降 73%

Arena 对 Text Arena 高推理回复的写作指标测试显示，Claude Opus 5.5 相比 Opus 5 破折号使用量下降约 95%、分号下降 73%。

无审查攻击性安全 AI 模型基准评测

一份 2026 年 9 月的开源权重无审查安全模型基准榜单，收录 DeepHat V2、CYBER-FROST-3.8 等 12 款面向授权红队、渗透测试与安全研究的模型，数据来自 HuggingFace 模型卡与官方资料。

Yuchen Jin@Yuchenj_UWAI 评分4141

我们 @databricks 目前在 NVIDIA 的 SOL-ExecBench kernel 排行榜上排名第一，覆盖全部 4 个赛道。 我们把 GPT-6 Astra 和 Opus 5 放进一个自我爬坡（self-hillclimbing）循环中，这些智能体击败了顶尖的 GPU kernel 工程师。 总 token 花费：约 $70K，远低于 kernel 工程师的薪酬。 一个体会：在编写 GPU kernel 方面，GPT-6 Astra 和 Opus 5 仍然比 OSS 模型强得多。