Hacker News:AI 热帖· prithvi2206·· 11 天前AI 评分55
DoGBench 文档生成基准发布:AI 智能体综合得分最高未超过 50%
DoGBench: The first user-facing docs generation benchmark. No model scores >50%
AI 导读
DoGBench 是面向用户文档生成的评测基准,测试 AI 智能体能否根据真实仓库事件和文档缺口编写、维护软件文档。基准包含来自 Helm、PostHog、Mautic、Doc Detective 等开源项目的 292 个任务,其中 205 个需要修改文档、87 个不应修改;主评测使用 117 个留出任务,含 82 个需更新任务和 35 个无需更新任务。
来源:Hacker News:AI 热帖 · dogbench.ai