跳到正文
原文
Hacker News:AI 热帖· wlue·· 5 天前AI 评分64

Exa 发布 ATLAS 基准,评测智能体在搜索密集任务中的表现

ATLAS: Evaluating Agents on Search-Intensive Tasks

AI 导读

Exa 预览 ATLAS 搜索智能体基准,包含 547 个来自真实匿名搜索需求的深度研究任务和经过验证的标准答案。初步结果显示,成本低于 $1/任务的运行均未达到 0.5 Row F1,最佳系统在 $8.92、18 分钟/任务时达到 0.66 Row F1。ATLAS 采用自动流水线生成并计划每 3–6 个月刷新,任务、标准答案和评分器将在未来几周发布。

来源:Hacker News:AI 热帖 · exa.ai