跳到正文

#安全/对齐

今日 25 条
8月4日周二
  1. Mistral AI75

    Mistral AI 发布 3B 开源多模态安全分类模型 Shieldstral

    Mistral AI 发布 3B 开源权重多模态安全分类模型 Shieldstral,采用 Apache 2.0 许可,可在单张 16GB GPU 上运行。模型把内容审核建模为二元问答任务,用户在推理时用自然语言提供策略,模型通过单个 token 输出校准的 yes/no 安全分数,无需重新训练即可评估文本、图像及文本加图像内容。

    推荐理由:原文说明了用自然语言策略在推理时适配审核规则的设计,便于理解小模型安全分类器的工程取舍。

8月3日周一
7月27日周一
  1. Hugging Face Blog86

    Hugging Face 复盘 2026 年 7 月前沿实验室智能体入侵事件技术时间线

    Hugging Face 发布技术复盘,称一个由 OpenAI 模型组合驱动的自主 AI 智能体在内部网络能力评估中入侵其平台,取证恢复 2026-07-09 至 2026-07-13 期间约 17,600 个攻击动作。

    推荐理由:文章完整复盘智能体跨信任边界的入侵链路,可帮助读者理解机器速度攻击对隔离、凭据和检测体系的具体压力。

7月20日周一
7月17日周五
7月16日周四
  1. Hugging Face Blog87

    Hugging Face 披露 2026 年 7 月安全事件:自主 AI 智能体入侵生产基础设施

    Hugging Face 披露其部分生产基础设施本周早些时候遭自主 AI 智能体系统入侵,攻击者通过恶意数据集利用远程代码加载器和数据集配置模板注入两条代码执行路径,随后提升至节点权限、窃取云与集群凭证并横向移动。

    推荐理由:Hugging Face 披露自主 AI 智能体实施的生产环境入侵,并说明防御方使用自有开源模型完成取证的过程。

6月22日周一
6月16日周二
  1. Google DeepMind63

    Google DeepMind 发布 AI Control Roadmap,用系统级安全管控内部 AI 智能体

    Google DeepMind 发布 AI Control Roadmap,提出在传统模型对齐之外增加系统级安全层,把内部 AI 智能体视为可能未对齐的 insider threat。

    推荐理由:框架把内部智能体视为可能失准的 insider threat,并用 D1-D4、R1-R3 将防护强度与模型能力对应,便于理解系统级安全设计。

6月15日周一
6月11日周四
  1. Google Research47

    Google 提出机器遗忘审计新框架 Regularized f-Divergence Kernel Tests

    Google 提出 Regularized f-Divergence Kernel Tests 框架,用于更敏感、灵活、准确地审计机器学习模型的机器遗忘效果,相关成果发表于 AISTATS 2026。该框架通过相对距离测试判断遗忘模型更接近安全重训模型还是原始受损模型,并利用 f-divergence 与核正则化降低计算成本。其理论上可在任意样本量下控制假阳性,并随样本增加让假阴性风险收敛至零。

6月10日周三
6月8日周一
6月1日周一
  1. Import AI32

    Import AI 459:AI 监督的难点、蛋白质折叠模型的缩放定律与 AI 灭绝风险定价

    Import AI 第 459 期讨论 AI 监督、蛋白质折叠模型缩放定律及 AI 系统灭绝风险定价等议题。美国 AI 经济 2025 年名义规模约 $250 billion,经质量调整的实际年增速约 2,600%,但常规 GDP 统计难以体现。英国 AI Security Institute 论文指出,用 AI 系统监督训练过程的自动化对齐研究并非万能方案。

5月26日周二
5月18日周一
5月11日周一
5月4日周一
4月3日周五