Hacker News:AI 热帖· truly_furqan·· 14 天前AI 评分62
29 个 AI 编码模型基准测试:仅 46% 的任务会说明假设
AI coding models state their assumptions only 46% of the time
AI 导读
一项针对 29 个 AI 编码模型的基准测试显示,模型在任务存在歧义时只有 46% 的情况会说明所采用的假设。每个模型以智能体方式完成相同 60 个请求,任务覆盖 13 类工作,并分别在 11 个开源 job-queue 项目和 11 种语言的私有项目上运行。
来源:Hacker News:AI 热帖 · bito.ai