AINews：Opus 5.5 擅长讲解视频，前沿模型与智能体基础设施集中更新
Claude Opus 5.5 本周发布，以 88.4% 登顶 SimpleBench，并在 Terminal-Bench-Science 上与 GPT-6 Astra 领先 Fable 5.1 约 20 分。
#评测/基准
#评测/基准
今日 10 条Latent SpaceAI 评分2727 
Diogo Almeida@CompleteSkepticAI 评分2828再次强调，我极其反对基准测试（： （引用推文核心：不要再搞“Jevbench”，不要再要求公开基准测试；它们完全没抓住 Jev 的要点，而且你珍视的每个基准都极易被刷分。选对任务比什么都重要。）
引用Latent.Space@latentspacepodSTOP making "Jevbench"es, stop asking for public benchmarks, they completely miss the point of Jev and you won't believe how easy it is to game every benchmark you hold dear This is @CompleteSkeptic's bitterest lesson of all: picking the right task beats everything
Elon Musk@elonmuskAI 评分3131引用X Freeze@XFreezeGrok 4.7 xHigh ranks #1 in Artificial Analysis Cyber Index It's a powerful frontier model performing at the highest level in enterprise cyber defense Outperforming Fable 5.1 Max, Opus 5.5, Astra 6, GPT-6 and other leading AI systems
ClaudeDevs@ClaudeDevsAI 评分4848公众号：刘小排rAI 评分4545 Claude Sonnet 5.5 评测表现超过 GPT-6-Astra，Agentic Coding 分数高于 Opus 5.5
Anthropic 新发布的 Claude Sonnet 5.5 在对比中表现超过 OpenAI 的 GPT-6-Astra，其 Agentic Coding 测评分数比 Claude Opus 5.5 更高，其他分数也与 Opus 5.5 接近。
Yuchen Jin@Yuchenj_UWAI 评分1515
OpenAI NewsAI 评分3434 Basis 借助 GPT-6 Astra 以 2 倍速度完成税务工作簿
Basis 测试显示，GPT-6 Astra 完成含 50 个标签页的复杂税务工作簿耗时比 GPT-5.6 Sol 少 50%，内部评测分数提升约 20%。该模型能按任务难度动态调整推理强度并保留 cache，从而降低成本与响应时间，同时更准确理解会计用户意图、减少纠错和 token 消耗。Basis 通过 OpenAI API 构建面向会计工作的 AI 智能体。
elsewhere：文章（RSS）AI 评分5858 Today AI 一周实测：Personal AI 助理如何推进与复盘创作者工作
十字路口团队内测 Today AI 一周，体验这款主打 Personal AI Agent 的私人助理如何基于 Memory 主动推进和复盘工作生活。
Runway@runwaymlAI 评分2525在 250 个图生视频提示词中，我们评估了 Model Router 相比 SOTA 模型基线如何降低成本并保持生产可用性。在下方链接阅读更多。
公众号：欧巴聊AIAI 评分7272 Opus 5.5 实测：编码生成游戏、动画与 3D 场景表现评测
作者实测 Anthropic Opus 5.5，认为其具备 Fable 5.1 的性能且价格更低，输入和输出分别为每百万 Token 4 美元和 20 美元，较 Opus 5 降价 20%，缓存读取成本降低 60%，官方称输出速度提升 30% 以上。
OpenAI News精选AI 评分7272 OpenAI 发布 MentalHealthBench 开放基准，评估 AI 在心理健康对话中的表现
OpenAI 发布开放基准 MentalHealthBench，用于评估 AI 系统在真实心理健康对话中的回应质量。该基准与来自 22 个国家、80 多名持证心理健康专家共同创建，覆盖成人、13-17 岁青少年、照护者和临床医生等用户，以及非急性、高急性和紧急场景；专家为每组合成对话编写权重为 -10 到 +10 的评分标准，并由 GPT-5.6 Sol 自动评分。
推荐理由：该基准把心理健康对话从急症扩展到日常压力等连续场景，并公开专家评分细则，便于研究者复现和横向比较模型表现。
elsewhere：文章（RSS）AI 评分7070 阶跃 Step 5 Preview 实测：金融与数据可视化表现突出，游戏资产和长上下文仍有短板
阶跃星辰发布 Step 5 Preview，总参数量 600B、激活参数 27B，支持视觉输入，官方称单任务成本为 Claude Opus 5 的 1/8，并宣称在 Artificial Analysis 上进入全球开源前三。
Hugging Face BlogAI 评分4747 UK AISI 与 EvalEval 如何让基准测试结果可复现
UK AISI 正通过 EvalEval 的 Evaluation Cards 公开经验证的评测结果、上下文与配置，覆盖 HealthBench、FrontierMath。
Fireworks AI（网页）AI 评分5858 Fireworks AI 推出 Specialized Intelligence Index 专业智能指数
Fireworks AI 推出 Specialized Intelligence Index（SII），用于比较开放、闭包和专用模型在医疗、法律、网络安全、金融、客服、生产力和软件七个领域基准上的表现。
François Chollet@fcholletAI 评分2929引用ARC Prize@arcprizeARC Prize 2026 - ARC-AGI-3 Progress Prize - 9 day left $37,500 in prizes are being awarded on *Sept 30th* to the top open source solutions Current standings: 1. Tufa Labs 2. Lord Han Solo 3. NVARC3 Which top 3 will claim the open source prize?
公众号：欧巴聊AIAI 评分7575 阶跃星辰 Step 5 Preview 实测：多模态、编码与办公任务表现及成本解析
阶跃星辰 Step 5 Preview 被实测验证可完成多模态生成、网页复刻、代码修复和办公文档任务，并以较低单任务成本进入 Artificial Analysis 开源模型前列。
公众号：赛文乔伊AI 评分5252 实测 Doubao-Seed-2.1-pro-0915：用 Coding Agent 搭建火星度假村全栈项目
作者实测 Doubao-Seed-2.1-pro-0915，围绕火星度假村完成 SpaceX 风格官网、深空航行页、Three.js 3D 火星车游戏、全息指挥中心和 Olympus Mart 电商系统五个案例。
NVIDIA Blog精选AI 评分6060 NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 首秀中取得领先性能
NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 预览提交中，Qwen3-VL 吞吐最高达到 GB300 NVL72 的 3.7x，DeepSeek-R1 最高达到 2.5x。
推荐理由：文章用 MLPerf Inference v6.1 的吞吐、扩展效率和软件优化数据，呈现新一代机架系统的推理经济性变化。
公众号：欧巴聊AIAI 评分5050 实测 GPT-6 Astra：人还能站在机器之上吗？
作者实测 GPT-6 Astra，借助 Blender MCP、Computer use 和 Browser use 完成 3D 建模、网页游戏等任务，包括约 750 棵树、25 万簇草的实时 3D 森林及含 22000 多个像素块的樱花塔。其在 3D 火山模拟中表现优于 Fable 5.1，并登上 Arena 前端开发排行榜。作者认为模型虽强，仍是自回归工具，出题、纠偏与责任仍在人的一方。
Hugging Face Blog精选AI 评分6969 Allen AI 发布 BenchMIRT：用多维 IRT 审计 LLM 基准实际测量的能力
Allen AI 发布 BenchMIRT，用多维项目反应理论在单个提示词层面审计 LLM 基准，区分题目分数背后的安全和通用推理等能力信号。方法基于 100 个 LLM、16 个基准和超过 34K 个问题的结果训练，在未标注基准目标的情况下恢复出安全与通用推理两个主导维度。
推荐理由：方法把基准拆到单题层面分析，适合用来理解总分背后安全与推理等能力信号的混合方式。
SpaceXAI@SpaceXAIAI 评分4141
公众号：欧巴聊AIAI 评分4242 实测字节 Doubao-Seed-Evolving：持续进化的真功夫
字节 Doubao-Seed-Evolving 采用固定模型 ID、无版本号，主打周级别迭代，近期更新重点提升多模态、编程与办公生产力能力。实测中它可高还原复刻淘宝首页，经 PIL 裁剪素材、取色搭建及无头浏览器 8 轮渲染对比完成页面，并生成可玩的低多边形跑酷游戏、《奥德赛》主题 PPT 与 Excel 及 3D 火山模拟。
公众号：欧巴聊AIAI 评分6767 腾讯混元 Hy4 preview 实测：聚焦代码、办公与科学任务
作者实测腾讯混元 Hy4 preview，覆盖代码、办公和科学等真实生产力任务。该模型总参数 770B、激活参数 49B、上下文 1M，定位开源模型第一梯队；测试包括生成全息卡片、跑酷游戏、3D 场景、流体艺术网站、网页 Windows、PPT/Excel/Word 联动文档、修复全栈项目 bug 和火山喷发模拟。
Hugging Face Blog精选AI 评分6262 Open ASR Leaderboard 新增印地语和印度英语评测集 Monsoon
Voice Arena 与 Hugging Face 合作，为 Open ASR Leaderboard 新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测，覆盖印度英语和印地语。
推荐理由：文章详细说明了印地语和印度英语评测集的说话人覆盖、元数据设计与计分方式，可帮助理解 ASR 榜单如何暴露群体差异。
Google DeepMindAI 评分5252 Google DeepMind 试点专有前沿 AI 模型双盲评测
Google DeepMind 宣布试点面向专有前沿级 AI 模型的双盲评测，将外部评测限制在密码学保护的环境中，避免模型提前利用测试内容优化表现。该项目与 Singapore AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境中用保密基准测试一款 Gemini Flash Lite 模型，以提升评测完整性。
Fireworks AI（网页）精选AI 评分7070 Fireworks 上线 DeepSeek V4 Pro 0813，并发布其编码基准与成本评测
Fireworks 已上线 DeepSeek V4 Pro 0813，提供 serverless endpoints、dedicated deployments 以及 SFT、DPO、RFT 训练支持。
推荐理由：Fireworks 给出 DeepSeek V4 Pro 0813 的编码基准、单任务成本和路由组合结果，可帮助评估多模型分工的实际取舍。
Fireworks AI（网页）精选AI 评分6464 Fireworks AI 评测 DeepSeek V4 Pro 0813：CyberGym 安全任务零拒绝且成功成本更低
Fireworks AI 使用 CyberGym 评测 DeepSeek V4 Pro 0813、Kimi K3、GPT-5.5 和 Claude Opus 4.8 的安全智能体表现，任务要求模型在真实代码库中定位、触发并修复漏洞。
推荐理由：文章用 CyberGym 的真实漏洞任务对比多款模型的成功率与单次成功成本，可为安全智能体选型提供成本和拦截率参考。
Hugging Face Blog精选AI 评分6767 Hugging Face 研究提出三类测试，量化语音识别模型的基准优化现象
Hugging Face 发布研究，用参考文本分歧、遮蔽实体检索和拼写切换三类探针测试 11 个开源 ASR 模型，发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转录中的错误或缺失内容。
推荐理由：研究用三类探针把语音识别模型迎合公开基准的行为量化出来，为选型时超越单一 WER 和使用留出集提供依据。
Microsoft ResearchAI 评分5555 Microsoft Research 发布 Skala-1.1，并接入 CP2K 等计算化学软件
Microsoft Research 发布深度学习交换关联泛函 Skala-1.1，训练数据较首个公开版本增加 2.5 倍，在热化学、反应动力学和分子结构预测等任务上提升精度。
Import AIAI 评分3030 Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 第 469 期介绍 DiG-bench：该基准含 70 个隐藏规则游戏，公开 21 个，Opus 5 与配合 Claude Code 的 Fable 5 总体表现最佳，Tier 7 成功率为 0.2，人类可达 100%。
Import AIAI 评分2929 Import AI 468：23 条 RSI 政策建议、PostTrainBench+ 与 AI 竞赛中的信任和透明度
IFP 提出 23 条政策建议，分属 7 类，旨在帮助政策制定者应对 AI 研发自动化风险。MIT 与 Columbia 的博弈论研究《Racing to Ruin》认为，竞争企业协调放缓 AI 开发的关键是技术发展透明度与对彼此理性可信的判断。
Import AIAI 评分3434 Import AI 466：机器人的苦涩教训、AI 完成长达一周的编程任务，以及 OpenAI 的意外 AI 黑客
Epoch 与 METR 发布长周期编程基准 MirrorCode，Opus 4.7 用 14 小时、花费 $251 完成人类需 2-17 周的任务，25 个目标程序中 17 个曾获满分运行。Anthropic 测试显示，Opus 4.7 自主完成四足机器人任务用时 9 分 35 秒，比此前人类纪录快 20 倍，仅一项任务未完成。
Hugging Face BlogAI 评分3737 DharmaOCR 凭巴西葡萄牙语专精训练，在 OCR 基准上击败更新的 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在面向葡萄牙语的 OCR 基准上以 0.925 分击败发布更晚的 Mistral OCR4（0.798）和 Unlimited-OCR（0.7587）。该模型经监督微调与 DPO 两阶段训练，全部参数专注巴西葡萄牙语，取得最高提取质量分与最低退化率，证明领域专精优势未被新架构消除。
Hugging Face BlogAI 评分5252 Hugging Face 介绍 Real World VoiceEQ：衡量语音 AI 的人类体验质量
Hugging Face 发布 Real World VoiceEQ 语音 AI 基准，覆盖 ASR、TTS、Speech-to-Speech 和 Speech Understanding，评测 40 多个模型、15+ 维度和 60 多项指标。
Import AIAI 评分3333 Import AI 464：Fable 编写 GPU kernel、AI 自动化与模拟计算
Fable 在 KernelBench-Mega 上写出 megakernel，基于 RTX PRO 6000 Blackwell 的 CUDA 实现相对优化 PyTorch 基线 18.71X 加速。
Hugging Face Blog精选AI 评分6262 IBM Research 发布 ScarfBench，评测 AI 智能体的企业 Java 框架迁移能力
IBM Research 推出开放基准 ScarfBench，用于评估 AI 智能体在 Spring、Jakarta EE 和 Quarkus 之间迁移企业 Java 应用的能力。
推荐理由：该基准用构建、部署和行为保留三层结果评估编码智能体，可帮助读者区分可编译代码与真正完成企业 Java 迁移之间的差距。
Hugging Face BlogAI 评分5757 Hugging Face 模型页接入 Every Eval Ever 评测结果并与 Community Evals 互通
Every Eval Ever 与 Hugging Face Community Evals 现已互通，评测结果可跨平台发布，并链接到开放模型、排行榜和统一元数据库。
Import AIAI 评分3838 Import AI 461：对齐进展未达预期、FrontierCode 与合成研究实习生
英国 AI Security Institute 对齐团队成员与 Timaeus 研究人员组建非营利组织 Sequent，目标为超级智能 AI 开发更可靠的对齐技术。
Google ResearchAI 评分5050 构建更好的 AI benchmark：多少名评估者才足够？
Google Research 研究 AI benchmark 中评估条目数量与每条目人工评估者数量的权衡，发现常用的每条目 1、3 或 5 名评估者往往不足，常需超过 10 名。最优配置取决于指标：多数投票偏广度，捕捉意见差异偏深度；约 1,000 个总标注即可获得高可复现结果，模拟器已在 GitHub 开源。