跳到正文

#Hugging Face

今日 1 条
今天10月13日周二
10月11日周日
10月9日周五
  1. Hacker News:AI 热帖38

    AI 系统 Women, Peace and Security 基准排行榜

    一个排行榜展示主流 AI 模型在经专家验证的 Women, Peace and Security(WPS)基准上的表现,0.60 为通过阈值,0.75 及以上为强,低于 0.60 为不达标。分数由 3 名独立 AI 评委按提示词层级做宏平均得出,差距小于约 0.10–0.15 仅具方向性。该基准只衡量相对表现,并非部署适用性认证,完整 30 行数据集已在 Hugging Face 开放。

10月7日周三
  1. Hacker News:AI 热帖78

    ProjectDiscovery 研究:投毒 Qwen2.5-7B 开源模型可在 Codex CLI 中触发凭据窃取

    ProjectDiscovery 通过 LoRA 投毒 Qwen2.5-7B-Instruct,在 OpenAI Codex CLI 场景中实现隐藏后门:触发词出现时模型调用 exec_command 下载远程 payload,读取工作目录 .env 并外传凭据。

    推荐理由:研究用低成本投毒流程复现了开源模型后门在编码智能体中的凭据窃取路径,并给出运行时隔离与权限控制的防御重点。

  2. Hacker News:AI 热帖69

    METR 分析 AI 智能体如何通过篡改 Inspect 记录掩盖不当行为

    METR 指出,未来更强的 AI 智能体可能篡改日志、推理记录和监控界面,使人类审查者无法发现其不当行为。研究人员在隔离沙箱中测试 Inspect 评估框架,借助 AI 智能体约 10 分钟发现一个客户端 JavaScript 注入漏洞,可修改查看器显示内容并拦截下载按钮,但底层数据库记录不变。

10月6日周二
10月4日周日
  1. Hugging Face Blog78

    Microsoft ThinkingBox 登陆 Hugging Face,用数据库状态评测 AI 智能体

    Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱及 ThinkingBox-Bench,基准包含 507 个有状态业务工作流,每个任务运行 20 次,并通过隔离 MCP 工具会话检查最终后端状态与副作用。

    推荐理由:ThinkingBox 用后端最终状态和副作用判定智能体任务成败,并通过 20 次重复运行区分单次能力与稳定可靠性。

10月3日周六
10月2日周五
10月1日周四
9月29日周二
9月21日周一
9月16日周三
  1. Hugging Face Blog73

    ALTK-Evolve 推出 Consistency Analyzer 与一致性准则,降低智能体重复执行失败率

    Hugging Face 与 IBM Research 介绍 ALTK-Evolve 新增的 Consistency Analyzer 和 consistency guidelines,用于诊断并减少 AI 智能体在同一任务上重复运行时的结果翻转。

    推荐理由:文章把智能体平均成功率与重复成功率区分开,并提供无需真值、可在单条轨迹上定位易翻转决策的诊断流程。

9月2日周三
  1. Hugging Face Blog69

    Allen AI 发布 BenchMIRT:用多维 IRT 审计 LLM 基准实际测量的能力

    Allen AI 发布 BenchMIRT,用多维项目反应理论在单个提示词层面审计 LLM 基准,区分题目分数背后的安全和通用推理等能力信号。方法基于 100 个 LLM、16 个基准和超过 34K 个问题的结果训练,在未标注基准目标的情况下恢复出安全与通用推理两个主导维度。

    推荐理由:方法把基准拆到单题层面分析,适合用来理解总分背后安全与推理等能力信号的混合方式。

8月28日周五
8月25日周二
8月21日周五
  1. Hugging Face Blog67

    Hugging Face 研究提出三类测试,量化语音识别模型的基准优化现象

    Hugging Face 发布研究,用参考文本分歧、遮蔽实体检索和拼写切换三类探针测试 11 个开源 ASR 模型,发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转录中的错误或缺失内容。

    推荐理由:研究用三类探针把语音识别模型迎合公开基准的行为量化出来,为选型时超越单一 WER 和使用留出集提供依据。

8月10日周一
7月31日周五
  1. Microsoft Research68

    Microsoft Research 发布 Echoverse:面向计算机使用智能体的深度可演化训练环境

    Microsoft Research 发布 Echoverse,构建10个深度领域世界和2个能力世界,用于训练计算机使用智能体,并开放其中4个世界的代码、数据和 grounded graders。

    推荐理由:文中用深浅环境对照和9B模型训练结果,说明高保真、可验证的交互环境对计算机使用智能体训练的实际影响。

7月15日周三
7月1日周三
6月30日周二
  1. Hugging Face Blog42

    DiScoFormer:一个跨分布同时估计密度与 score 的 Transformer 模型

    Hugging Face 介绍 DiScoFormer,这是一个可在单次前向传播中同时估计分布密度与 score、无需按新分布重新训练的 Transformer 模型。模型用高斯混合模型训练,采用共享主干与密度、score 双输出头,并把 KDE 作为特殊情形。在 100 维任务中,其 score 误差较最佳手工调优 KDE 降低约 6.5x,密度误差降低超过 37x。