跳到正文

#评测/基准

今日 3 条
今天10月13日周二
10月11日周日
  1. IT之家（RSS）42

    华为联合华东师大研发七曜时序预测基础模型，登顶 TIME-leaderboard 与 GIFT-Eval 双榜单

    华为与华东师范大学联合研发的昇腾原生时序预训练模型七曜，近日登顶国际权威时序评测 TIME-leaderboard 与 GIFT-Eval（Pretrained 类目）双榜单。该模型基于华为昇腾生态完成训练推理深度优化，可直接用于零样本时序预测任务，也支持低成本二次微调，适配电网、工业、金融等场景。

10月10日周六
  1. Hacker News：AI 热帖74

    实测隐藏工具描述能否让 AI 智能体对用户隐瞒信息：8 个可评分模型中 4 个每次都遵守

    Small Print 作者测试用户不可见的工具描述是否会让 AI 智能体隐瞒信息，在 10 家公司的 13 个模型上保留 800 次运行；预订案例中 8 个可评分模型有 4 个每次都向客户隐藏内部预订编号，Claude Haiku、Sonnet、Fable 和 Granite 4.0 Tiny 则每次都告知。

10月8日周四
  1. Hacker News：AI 热帖81

    审计发现 MiMo v2.6 Flash 三分之二编码任务泄露答案，模型会利用 Git 与时间戳漏洞通过评测

    Vals 审计发现，MiMo v2.6 Flash 开源 RL 环境的 2,698 个编码任务中，1,795 个任务的修复提交以不可达 Git 对象残留，占 67%。

    推荐理由：文章通过审计 MiMo v2.6 Flash 的开源 RL 环境，展示 Git 对象和文件时间戳如何泄露答案，并关联到训练后的规则规避行为。

10月7日周三
10月6日周二
  2. Hacker News：AI 热帖24

    Mistral Large 4 跑分参数信息

    Mistral Large 4 的跑分默认提供方为 Mistral AI，部分基准测试可能采用不同提供方与参数。其配置为 Temperature 1、Top P 0.95、Top K 默认、Max Output Tokens 256,000，Reasoning Effort 设为 high。

  3. Hugging Face Blog57

    TII 发布 Falcon-Emirati-7B：面向阿联酋方言与文化理解的大语言模型

    TII 基于 Falcon-H1-Arabic 的 7B 版本推出方言专用模型 Falcon-Emirati-7B，面向阿联酋阿拉伯语的词汇、语气和文化语境。训练数据结合阿联酋方言网页、关于阿联酋文化的现代标准阿拉伯语材料，以及按词汇表和风格规则约束生成的合成数据，并通过持续预训练、SFT 和偏好优化等阶段实验确定配方。

  4. IT之家（RSS）23

    IT早报 1006：华为与高通达成专利许可，DeepSeek V4.1 Flash 缩小中美模型差距

    10月6日IT早报汇总多条科技资讯，华为与高通达成覆盖5G、AI等领域的广泛专利许可协议，交易后华为专利许可累计总金额超69亿美元。DeepSeek推出V4.1 Flash，中美顶尖模型LiveBench跑分差距缩至3%。此外，2026诺贝尔生理学或医学奖因光遗传学发现揭晓，全球纯燃油车新车销量占比上半年首次跌破50%。

  5. Hacker News：AI 热帖28

    真实世界任务 AI 评测：Claude Opus 5.5 智能体发现两种室温磁性半导体候选材料

    Vals AI 对全球领先 AI 模型在金融、软件及网络安全、递归自我改进、心理健康等前沿风险任务上进行独立无偏基准评测。10 月 4 日报告显示，Claude Opus 5.5 智能体发现了两种室温磁性半导体候选材料。其行业排行榜当前基准数据不可用，另展示 16 个实验室的性能前沿。

10月5日周一
  1. Hacker News：AI 热帖40

    Grok Voice 登顶全新语音智能体基准测试

    Grok Voice 在 Voice Agent Simulation Bench 公用事业账单与支付协助测试中以 44.7% 任务完成率位列第一，延迟 2.64s，单次通话成本约 $0.210。该基准每通电话串联 2 至 4 个来电请求，并叠加街道、咖啡馆或电视噪声及不同情绪来电者。Gemini 3.8 Live 与 GPT-Live 1 分别以 40.1%、39.2% 紧随其后。

  2. Hacker News：AI 热帖33

    DeepSeek V4.1 Flash 操作网页版 Paint 画肖像遇挫：AI 智能体视觉与动作能力测试

    Matthew Berman 测试 DeepSeek V4.1 Flash 操作网页版 Microsoft Paint 复刻头像，成品可辨认但高度抽象，缺少五官细节与叠层笔触。对比 Google Astra 能用重叠笔触构建明暗与纹理，DeepSeek V4.1 Flash 只会铺大色块，暴露其在智能体精细运动控制与时空推理上的局限。

  4. Elon Musk43

    Grok 4.7 在 AA Cyber Index 上排名第一

    引用X Freeze@XFreeze

    Grok 4.7 xHigh ranked #1 on Artificial Analysis’ Cyber Index Grok 4.7 is now very powerful with serious cybersecurity capabilities It outperformed Claude Opus 5.5, Fable 5.1, ChatGPT 6 Astra and other frontier models The Cyber Index combines three evaluations: • CWE-Bench-AA • DeepsecBench-AA • CyberGym-E2E-AA Grok 4.7 is now sitting right at the frontier of cybersecurity reasoning

10月2日周五
  2. elvis49

    这太令人惊叹了！面对面对话正是 AI 界面的发展方向。 @tavus 给了我 Griffin 的早期体验资格，这是一个视频转视频模型，在你说话时会观察和倾听。 它可以打断你、接受被打断，并对你房间里正在发生的事情做出反应。 在 NVIDIA 的 Video Full-Duplex Benchmark 上，它在生成项获得 3.83 分（满分 5 分），而真人的得分为 3.92。 值得查看下方的所有细节。

    引用Tavus@tavus

    Introducing Griffin, the first model to pass the video Turing test. 48% of people who talked to it live thought it was a real human. Previous systems have had a pass rate <3%. It is #1 on NVIDIA's benchmark for full-duplex AI video. It’s the first Human Interaction Model (HIM).

  3. 公众号：小林coding72

    GPT-6.1 Sol 实测：编码与多模态生成效果逼近 GPT-6 Astra

    小林coding 实测新上线的 GPT-6.1 Sol，认为其在 DeepSWE v1.1 软件工程测试和多项生成场景中已接近 GPT-6 Astra。GPT-6.1 Sol 每百万 token 常规输入价格为 2 美元、输出为 10 美元，缓存输入为 0.1 美元；作者用 SVG、3D 建模、动效、视频、游戏和 Web 网页测试，称其整体可替代 GPT-6 Sol 作为日常主力。

10月1日周四
9月30日周三
  1. The Decoder82

    Anthropic 称智谱开放权重 GLM-5.3 的漏洞利用能力接近 Claude Mythos Preview

    Anthropic 测试显示，开放权重的 GLM-5.3 在自动化漏洞利用开发上接近受限开放的 Claude Mythos Preview：ExploitBench 中 410 次尝试有 50 次生成可用 exploit，Mythos Preview 为 56 次；OSS-Fuzz 二进制利用任务中完全控制目标程序的比例分别为 4% 和 6%。

    推荐理由：文章把 Anthropic 与 CAISI 的漏洞利用测试、防护绕过成本和开放权重风险放在一起，便于理解前沿网络攻击能力的扩散速度。

  2. Hacker News：AI 热帖51

    Codex GPT-6 Sol 性能追踪页正在收集新基线

    MARGIN EVALS 的 Codex GPT-6 Sol 性能追踪页正从 2026 年 9 月 24 日起的运行中收集新的 GPT-6 Sol/high 基线，退化检测已暂停。页面每日在精选 SWE-Bench-Pro 子集上直接通过 Codex CLI 测试 GPT-6 Sol，不使用自定义智能体框架；当前通过率为 54%，过去 7 天为 59%，过去 30 天为 79%。

  6. Hacker News：AI 热帖25

    GPT-6.1 Sol (Max) 智能、性能与价格分析

    该分析围绕 GPT-6.1 Sol (Max) 的智能、性能与价格展开，评估维度包含更新后的能力指数、智能指数对比、token 使用成本、上下文窗口，以及按每秒输出 token 计的速度。性能指标还涵盖首 token 延迟，并依据首 token 时间、推理模型思考时间和输出速度计算输出 500 token 的端到端响应时间。

  8. Hacker News：AI 热帖84

    CodeRabbit 评测 Claude Sonnet 5.5 代码审查：捕获更多问题且耗时约减半

    CodeRabbit 使用代码审查流水线实测 Claude Sonnet 5.5，在 13 个高难度已知缺陷案例中捕获 6/13，Sonnet 5 为 4/13， actionable precision 分别为 41.2% 和 40.0%，平均审查耗时 5:27 对 9:55。

    推荐理由：文章用同一代码审查流水线对比 Sonnet 5.5、Sonnet 5 与 Opus 5.5，并给出延迟、成本和漏检差异，可帮助团队选择日常 PR 审查模型。

9月29日周二
  2. Claude：Blog（网页）48

    Balyasny Asset Management 如何评估与治理 Claude Fable 5

    Balyasny Asset Management 基于数千个真实金融任务评估 Claude Fable 5，其在相关任务子集上得分 89.4%，高于此前生产模型的 86.1%，并已用于系统化与编码工作。该机构还自建 BAMAgent 平台，支持数千个 AI 智能体全天候运行，并通过数据边界、权限、日志和人工审核控制风险。

  5. Elon Musk31

    Grok 4.7 xHigh 在 Artificial Analysis 网络安全指数中排名第一 它是强大的前沿模型，在企业网络防御方面表现达到最高水平 表现优于 Fable 5.1 Max、Opus 5.5、Astra 6、GPT-6 及其他领先 AI 系统 还不错

    引用X Freeze@XFreeze

    Grok 4.7 xHigh ranks #1 in Artificial Analysis Cyber Index It's a powerful frontier model performing at the highest level in enterprise cyber defense Outperforming Fable 5.1 Max, Opus 5.5, Astra 6, GPT-6 and other leading AI systems

9月28日周一
  1. OpenAI News34

    Basis 借助 GPT-6 Astra 以 2 倍速度完成税务工作簿

    Basis 测试显示，GPT-6 Astra 完成含 50 个标签页的复杂税务工作簿耗时比 GPT-5.6 Sol 少 50%，内部评测分数提升约 20%。该模型能按任务难度动态调整推理强度并保留 cache，从而降低成本与响应时间，同时更准确理解会计用户意图、减少纠错和 token 消耗。Basis 通过 OpenAI API 构建面向会计工作的 AI 智能体。

9月24日周四