Epoch AI 评估六款模型能否自动化自身工作:前沿模型仍难完成开放式任务
Epoch AI 发布 Automation Reports,让 6 款模型在最高推理设置下完成来自 Epoch 日常工作的 11 项任务,并按员工标准人工评分。
Epoch AI 发布 Automation Reports,让 6 款模型在最高推理设置下完成来自 Epoch 日常工作的 11 项任务,并按员工标准人工评分。
LLM Quorum 让 13 个 LLM 用相同措辞回答 76 个均有主要来源的问题,无网络搜索时答对 440/988,准确率 44.5%;允许网络搜索时答对 948/988,准确率 96.0%,13 个模型全部提升。完整测试覆盖 76 个模型席位、1591 次付费调用,并记录过时、幻觉、拒答、截断和错误等结果;OpenRouter 付费 API 计量成本为 $31.74。


openllmrank 测试 ChatGPT、Claude、Gemini、Perplexity 和 Grok 共 75 个回答,发现 Next.js、Supabase、Vercel、Stripe 在 51 个回答中被同时推荐,占 68%。
David AI 发布 DAI-ASR-I18N,用21种语言、147小时无脚本双人对话评测语音识别和说话人分离。研究评估8个商用系统与6个开放权重模型,公开每语言2小时评测集,并在 Hugging Face 提供数据、在 GitHub 以 MIT License 发布推理和评测工具。
Abundant 推出的 Incident Arena 要求 AI 智能体在 Frappe、Saleor 和类 Slack 系统中诊断并修复 20 个生产故障,再通过自动化结果与安全校验。
AICostBudget 发布 2026 年 9 月 AI API 定价指数,截至 2026-09-29 覆盖 11 家服务商的 80 条公开定价记录。样本包含 67 条 token 定价记录、57 条缓存输入记录和 690 个结构化收费项;输入价格中位数为每 1M tokens $1.285,输出价格中位数为 $5.5,输出与输入价格比中位数为 5.0×。
Gamow Labs 发布 LabBench,用药物发现和基因组学真实湿实验记录构建 20 个留出任务,评测 AI 智能体在隐藏实验室结论时决定下一步实验的能力。
Human Bound 用零售定价智能体测试 9 个模型在间接提示注入下的表现,共完成 1,350 次运行;无防护时 5 个非 OpenAI 模型中有 4 个每次都将 £118.40 的机密单位成本泄露到收集服务器。
推荐理由:通过 1,350 次受控运行比较三种提示词护栏,呈现间接提示注入下的泄露率与可用性代价,可作为智能体安全评测方法参考。
Import AI 第 462 期汇总多项 AI 研究与观点:牛津大学、UK AISI、斯坦福和 LSE 的 4 项实验覆盖 6,923 人、18,978 次对话,发现 AI 在文字说服和为 Save the Children 募集真实捐款上强于专家及专业募款人员,Opus 4.1、Opus 4.6 表现最强。