TaxCalcBench 评测前沿模型能否完成 2025 纳税申报计算

TaxCalcBench 发布 2025 v2 版税务计算基准，测试 38 个模型在 50 个覆盖 CA、IL、NY、VA 的案例中能否根据纳税人材料生成完整税表。新版输入改为 W-2、1099 等真实 PDF，覆盖联邦和州税以及更复杂财务情形；结果按严格全表正确、±$5 宽松正确、逐行正确率、每份申报成本和时间统计，结果于 10/01/2026 从仓库同步。

Claude Code Opus 5.5 在 ESP32-H2 上实现并实测 6 种 Matter OTA 更新方式

Groundrun 让 Claude Code Opus 5.5 智能体在真实硬件上为 ESP32-H2 的 Matter over Thread 设备实现、验证并测量 6 种 OTA 更新方式，总工作时间 29.7 小时，30 次运行全部成功。

Import AI 475：Swarm scaling、Google DeepMind 生物水印与 AI 科学生态

Import AI 第 475 期讨论 Toby Ord 对 swarm scaling 的分析：4 智能体 swarm 用约两倍 token 可将任务时间理论减半，但规模扩大存在收益递减。

DeepSeek V4.1 Flash 操作网页版 Paint 画肖像遇挫：AI 智能体视觉与动作能力测试

Matthew Berman 测试 DeepSeek V4.1 Flash 操作网页版 Microsoft Paint 复刻头像，成品可辨认但高度抽象，缺少五官细节与叠层笔触。对比 Google Astra 能用重叠笔触构建明暗与纹理，DeepSeek V4.1 Flash 只会铺大色块，暴露其在智能体精细运动控制与时空推理上的局限。

TypeSafe AI Jev 与 Perplexity Decisions API 的接口和迁移评估方法对比

文章对比 TypeSafe AI 的 Jev 与 Perplexity 的 Decisions API，说明二者都用 state、choice、score、noul 等结构化问题生成决策，但输入、模型标识、端点、部署方式不同。

Rohan Paul@rohanpaul_aiAI 评分6262

Center for AI Safety 推出 CHEATBENCH，用于测量 AI 智能体在数学研究、知识工作、编码和视觉任务等领域的作弊行为。基准会给出数学证明、蛋白质设计等困难任务，并在附近留下指向他人答案的线索。

彭博行业研究称 DeepSeek V4.1 Flash 推动中美顶尖模型 LiveBench 差距缩至 3%

彭博行业研究称，DeepSeek 9 月发布 V4.1 Flash 后，中国顶尖模型在 LiveBench 上与美国竞争对手的得分差距缩小到 3%，低于 5 月约 9% 和今年早些时候的 15%。

Diogo Almeida@CompleteSkepticAI 评分2121

刷榜模型与真正在意可靠性的人打造的模型之间，存在一个关键差异，而从定义上讲，这个差异不会体现在基准测试中 （我们在字符串大语言模型上多少已经学到了这一点……）

Anchor Terminal 发布 462 个 AI 智能体友好工具排行榜

Anchor Terminal 对 462 个面向 AI 智能体的工具进行排名，列出类别、等级、总分、智能体评分、价格和 x402 等信息。OpenAI Agents SDK 以 86.5 分排第 1，OpenAI API、Stripe API + MCP、Infisical 等紧随其后；等级从 AA 到 F，BB 或更高才算 agent-ready。

GPT-6 Astra 用六小时破解 217 年前拿破仑战争密码

SentinelOne 工程师 Carter Church 使用 GPT-6 Astra，在六小时内破解了一段 217 年前拿破仑战争时期的未读密码。该密码长期列于 Cryptiana 的 Unsolved Historical Ciphers 列表，模型仅接收一张图像和一个提示词，就解出 24 行自定义符号并还原失传的军队命令；Church 的博客提供可复现解读过程的完整解决方案包和脚本。

按引用量排名的 AI 研究者 Top 50 榜单

一份按 Google Scholar 引用量统计的 AI 研究者 Top 50 榜单发布，覆盖机器学习、深度学习、计算机视觉等子领域，每月更新。Yoshua Bengio 以 1,164,407 次引用居首，Geoffrey Hinton、何恺明分列第二、三位。

Elon Musk@elonmuskAI 评分4343

Grok 4.7 在 AA Cyber Index 上排名第一

Graphite 更新 AI Tells 研究：Claude Opus 5.5 写作更接近人类但仍有 2,548 个 tells

Graphite 发布 AI Tells: Opus 5.5 Update，将 Claude Opus 5.5 纳入对 10 个模型和人类文章的比较，样本覆盖 9,974 个对齐主题。

Aleph Alpha 研究称中国 AI 模型在敏感议题上重复官方表述或拒答

Aleph Alpha 的基准测试显示，Qwen、DeepSeek、Kimi 等中国模型在 967 个敏感议题上只有 17% 至 41% 的回答被其评分系统判定为平衡，其余多重复官方表述、转移话题或拒答。

Rohan Paul@rohanpaul_aiAI 评分5353

一篇关于 Kepler 的 ARC-AGI-3 研究显示，某 AI 智能体通过读取游戏的 2,172 行源码拿到 100 分，干净重跑后仅得 46.91 分。论文提出将假设表示为可执行世界模型，并通过回顾性转移检查和条件预测检查验证；作者据此建议评测智能体时设置真实访问限制并审查动作日志。

Microsoft ThinkingBox 登陆 Hugging Face，用数据库状态评测 AI 智能体

Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱及 ThinkingBox-Bench，基准包含 507 个有状态业务工作流，每个任务运行 20 次，并通过隔离 MCP 工具会话检查最终后端状态与副作用。

FutureSearch Evals 公布 BTF-3 预测智能体榜单与多项公开赛事成绩

FutureSearch 发布评测页，展示其预测与研究智能体在自建基准、公开实时榜单和真实市场中的表现。BTF-3 包含 2,386 道已解析预测题，其中 2,015 道二元题、371 道数值题，FutureSearch SOTA 以 0.116 的 pooled Brier 分数领先，Claude Opus 5 (xhigh) 为 0.120。

大语言模型推荐的后端编程语言排名

一项基于大语言模型推荐的后端编程语言排名显示，Python 以 67.5%（610/904）的支持率位居第一，TypeScript 以 23.8%（215/904）排第二。Go、Ruby、Rust 分列第三至第五，支持率分别为 3.4%、1.2%、0.9%。统计覆盖全部模型层级与提示词级别，Python 在模型和提示词覆盖上均达 100%。

实验测试：SEO 能否影响 AI 智能体的产品推荐

作者通过 310 个架构选择题、共 5,580 次 Claude Sonnet 5 试验，测试操纵搜索结果能否让 Claude Code 推荐 Google Cloud 产品。

Mercor 研究显示前沿 AI 在 APEX-Accounting 会计任务上超过初级会计

Mercor 发布 APEX-Accounting 人类基线研究，前沿 AI 模型在中等长度、规则明确的会计任务上比 12 名初级会计更快、更准确，且单任务成本低一个数量级以上。

三款 AI 智能体在美国英语与伊朗波斯语网页任务中的表现差异评测

研究者让 Meta Muse、Anthropic Claude Opus 5.5 Medium 和 OpenAI GPT 6.1 Sol Medium 分别用英语补全美国、用波斯语补全伊朗在世界银行全球公共采购数据库中的缺失信息。

Moorcheh Edge 在 Arduino UNO Q 与 Ventuno Q 上的 1536-D 向量基准测试

Moorcheh Edge 在 Arduino UNO Q 与 Ventuno Q 两块 ARM64 开发板上完成 1536 维向量检索基准，覆盖 10k、100k、1M 向量规模。

OpenAI Dot 智能体实测：更像企业办公软件，也能帮忙点晚餐

The Verge 实测 OpenAI 本周发布的智能体平台 Dots，认为它更像能操作其他软件的办公同事，而非个人购物助手。Dots 目前先向包括每月 $100 Pro 在内的高阶账户开放，现阶段每位用户只有一个 Dot，可在云虚拟机中使用 Blender、GIMP，也可通过桌面版 ChatGPT 访问用户电脑并支持通话。

实测 OpenAI Dots 8 次构建：默认选择 Cloudflare Workers、D1 与 ChatGPT 登录

一项实测让 OpenAI Dots 在技术栈开放的条件下构建 AI 服务状态面板，8 次构建全部使用 Cloudflare Workers、Cloudflare D1 和 ChatGPT sign-in，未集成 Vercel、Neon、Supabase、Clerk 或 WorkOS。

2026 年 AI 模型最常推荐的应用栈：Next.js、Supabase、Vercel、Stripe

openllmrank 测试 ChatGPT、Claude、Gemini、Perplexity 和 Grok 共 75 个回答，发现 Next.js、Supabase、Vercel、Stripe 在 51 个回答中被同时推荐，占 68%。

Synthpop.AI 审计 Jev 决策模型：高置信度在知识边界外并不总可靠

Synthpop.AI 对 TypeSafe AI 的 Jev jev-1.13.0 决策模型开展约575,442次API调用审计，发现其置信度在熟悉选择题任务中能较好跟踪准确率，但在无依据题目、虚构主题和2024年11月后的新闻问题上仍保持高置信度。

GamesByAI 统计 528 款 AI 制作浏览器游戏及所用工具

GamesByAI 发布截至 2026 年 10 月 2 日的 528 款 AI 制作可玩浏览器游戏统计，Claude 被用于 238 款游戏，Claude Code 出现在 38% 的游戏中，Three.js 支撑 58% 的目录游戏。

Kapa 发布 Company Knowledge Bench，评测智能体检索真实企业知识的表现

Kapa 发布私有基准 Company Knowledge Bench，用 1,000 个来自真实生产数据的案例评测 7 种检索方案。仅使用 grep 的 gpt-6.1-sol 智能体检索得分为 0.61，但每次查询耗时 13 到 17 秒并返回约 40,000 tokens；Kapa Deep 得分 0.65、约 5 秒完成，返回约 5,000 tokens。

Red Hat 实测 Jev 等决策模型：未稳定胜过 LLM-as-a-judge 与传统分类器

Red Hat AI Safety 团队评测 Jev、Laya、DiffusionGemma、LLM-as-a-judge 和预训练分类器等 9 类护栏，结论是 Jev 式决策模型未在速度或准确率上稳定胜出。

Mercor 研究显示 AI 在结构化记账任务上快于注册会计师，但仍需人工监督结账

Mercor 研究发现，AI 模型在结构化记账任务上比注册会计师更快、更准确且成本更低，但仍无法在无人监督的情况下完成结账。12 名平均拥有 5.5 年经验的注册会计师参加 APEX Accounting Benchmark 的简化任务，无 AI 辅助的平均得分约为 37%；18 个月前最佳模型还低于这一水平，如今已能近乎无错地完成同类任务。

deepsense.ai 指南：如何超越公开基准评估生产级 AI 系统

deepsense.ai 提出一套企业 AI 评估模式，主张公开基准只用于筛选候选模型，部署决策应在接近生产的 harness 中评估完整系统。文章要求同时检查证据、执行路径和交付物，跨多次运行衡量稳定性，并按业务结果、成本、延迟与失败模式评分。

Rohan Paul@rohanpaul_aiAI 评分6262

Rohan Paul 引用 Mercor 的会计任务评测并评论称，规则型工作不再是职业，而是提示词。Claude Opus 5 在 20 项任务中全部答对，几分钟完成一项；12 名持牌 CPA 得分从 0% 到约 90% 不等，数人用完 3 小时。配图显示，按每个正确评分标准计算，Claude Opus 5 成本为 $0.21，未使用 AI 的会计为 $10.35，相差 49 倍。

Elon Musk@elonmuskAI 评分4242

超级智能（前称 AI）如今在会计测试中表现出色

elvis@omarsar0AI 评分5353

AgentWorld 论文在游戏沙盒中让 3 至 20 个不同角色的 LLM 智能体执行 50 轮以上任务，发现团队行动中不足三分之一真正有助于完成任务。Gemini 3 Flash 任务成功率最高，为 52.0%；协调类任务最难，成功率仅 12%，常见失败包括沟通中断、角色混乱和共享计划丢失。论文链接：https://arxiv.org/abs/2609.31590

Signal65 报告：高通骁龙 X2 Elite 芯片在 CPU / AI 等方面优于英特尔酷睿 Ultra X7 358H

Signal65 于 10 月 1 日发布报告，测试显示 18 核高通骁龙 X2 Elite（X2E-88-100）在 CPU、AI、生产力和多数续航项目中领先英特尔酷睿 Ultra X7 358H。

Rohan Paul@rohanpaul_aiAI 评分5252

MerchantBench 评测 8 个领先 LLM 在 365 天电商运营模拟中的长期一致性，最佳配置 Qwen3.7-Max with Hermes 的最终净资产仅为人类参与者平均水平的 27.3%。

HarnessTax 研究：编码智能体的 harness 对成本影响有多大

Arena 发布 HarnessTax 研究，测试 7 个模型与 Claude Code、Codex CLI、Pi 三种 harness 组成的 21 个组合，在 SWE-bench Lite 和 Terminal-Bench 2.0 上各抽取 30 个任务、每任务运行 3 次。

金融 AI 智能体基准分数为何应像 Adjusted EBITDA 一样打折审视

作者分析多个金融智能体基准后认为，82.2% 等头部分数主要反映干净输入、单次运行、宽松评分和简化环境下的表现，不能直接等同于真实金融工作可交付能力。

DoGBench 文档生成基准发布：AI 智能体综合得分最高未超过 50%

DoGBench 是面向用户文档生成的评测基准，测试 AI 智能体能否根据真实仓库事件和文档缺口编写、维护软件文档。基准包含来自 Helm、PostHog、Mautic、Doc Detective 等开源项目的 292 个任务，其中 205 个需要修改文档、87 个不应修改；主评测使用 117 个留出任务，含 82 个需更新任务和 35 个无需更新任务。

elvis@omarsar0AI 评分4949

这太令人惊叹了！面对面对话正是 AI 界面的发展方向。 @tavus 给了我 Griffin 的早期体验资格，这是一个视频转视频模型，在你说话时会观察和倾听。 它可以打断你、接受被打断，并对你房间里正在发生的事情做出反应。 在 NVIDIA 的 Video Full-Duplex Benchmark 上，它在生成项获得 3.83 分（满分 5 分），而真人的得分为 3.92。 值得查看下方的所有细节。