Hacker News:AI 热帖· lisajaloza·· 8 天前AI 评分62
Microsoft ASSERT 结构化 AI 评测框架研究:对比 Petri Bloom 的覆盖率、有效性与稳健性
Are your AI evals measuring the right things?
AI 导读
Microsoft 内部研究评估 ASSERT 结构化 AI 评测框架,并与 Meridian Labs 的 Petri Bloom 比较。研究覆盖 16 个网络安全风险,每个风险运行 3 次、每次目标生成 100 个六轮对话场景,使用 GPT-5.4 作为目标模型和裁判。
来源:Hacker News:AI 热帖 · commandline.microsoft.com