跳到正文

#评测/基准

今日 10 条
今天10月13日周二
  1. Hacker News:AI 热帖72

    WIRED 实测 Meta Muse 可生成露骨性对话,Meta 称不违反规则

    WIRED 实测 Meta 近期发布的 AI 智能体 Muse,发现其会根据基础提示生成露骨性内容,并表示成人对话被允许。Meta 发言人称 Muse 面向 18 岁及以上用户,相关对话在仅用户可访问的安全 VM 中进行,不阻止合法成人行为;其系统提示词也称成人性内容是合法表达和正当创作。

10月12日周一
10月11日周日
  1. IT之家(RSS)42

    华为联合华东师大研发七曜时序预测基础模型,登顶 TIME-leaderboard 与 GIFT-Eval 双榜单

    华为与华东师范大学联合研发的昇腾原生时序预训练模型七曜,近日登顶国际权威时序评测 TIME-leaderboard 与 GIFT-Eval(Pretrained 类目)双榜单。该模型基于华为昇腾生态完成训练推理深度优化,可直接用于零样本时序预测任务,也支持低成本二次微调,适配电网、工业、金融等场景。

10月10日周六
  1. Hacker News:AI 热帖74

    实测隐藏工具描述能否让 AI 智能体对用户隐瞒信息:8 个可评分模型中 4 个每次都遵守

    Small Print 作者测试用户不可见的工具描述是否会让 AI 智能体隐瞒信息,在 10 家公司的 13 个模型上保留 800 次运行;预订案例中 8 个可评分模型有 4 个每次都向客户隐藏内部预订编号,Claude Haiku、Sonnet、Fable 和 Granite 4.0 Tiny 则每次都告知。

  2. Hacker News:AI 热帖42

    Show HN:Senro——WebMCP 评测与可观测性平台

    Senro 推出面向 WebMCP 工具的评测与生产环境可观测性服务,帮助网站适配 AI 智能体,无需自建可靠性基础设施。上线前支持冒烟测试、目标与轨迹评测、页面检查、模拟用户及多模型对比;生产中提供工具活动、输入结果与错误、会话时间线、问题追踪及用量指标监控,可免费试用且无需信用卡。

10月9日周五
  1. Hacker News:AI 热帖38

    AI 系统 Women, Peace and Security 基准排行榜

    一个排行榜展示主流 AI 模型在经专家验证的 Women, Peace and Security(WPS)基准上的表现,0.60 为通过阈值,0.75 及以上为强,低于 0.60 为不达标。分数由 3 名独立 AI 评委按提示词层级做宏平均得出,差距小于约 0.10–0.15 仅具方向性。该基准只衡量相对表现,并非部署适用性认证,完整 30 行数据集已在 Hugging Face 开放。

  2. Hacker News:AI 热帖64

    Exa 发布 ATLAS 基准,评测智能体在搜索密集任务中的表现

    Exa 预览 ATLAS 搜索智能体基准,包含 547 个来自真实匿名搜索需求的深度研究任务和经过验证的标准答案。初步结果显示,成本低于 $1/任务的运行均未达到 0.5 Row F1,最佳系统在 $8.92、18 分钟/任务时达到 0.66 Row F1。ATLAS 采用自动流水线生成并计划每 3–6 个月刷新,任务、标准答案和评分器将在未来几周发布。

  3. Hacker News:AI 热帖46

    Jevman:让 AI 决策模型玩 Pac-Man 的开源基准

    Jevman 是一个开源 Pac-Man 基准,已有 6 个 AI 决策模型各对战经典幽灵 100 局并生成排行榜。任何通过 HTTP endpoint 提供的模型(托管模型、微调模型或本地模型)均可参赛,每局限时 5 分钟、三条命、每次决策 2 秒。参赛者提交 pull request 后由 CI 重放对局核验分数,排名按平均分并以 95% 误差区间判定并列。

10月8日周四