跳到正文

#安全/对齐

今日 26 条
10月1日周四
  1. The Decoder81

    OpenAI 称已阻断模型推理窃取行动,但研究人员在 Azure 上仍能复现攻击

    OpenAI 称其发现并关停了一个试图通过加密推理内容迁移和解密来蒸馏模型能力的账号网络,7 月 24 日至 25 日相关请求达到 16,000 次,涉及超过 4,000 名用户和超过 15,000 个关联账号。

    推荐理由:文章把 OpenAI 的封禁措施与研究人员在 Azure 上复现攻击的结果对照,呈现同一模型在不同托管平台防护不一致的问题。

  2. Hacker News:AI 热帖72

    BBC 实测 Meta AI 智能体 Muse:便利之外,互联网可能迎来机器人混乱期

    BBC 记者实测 Meta 新 AI 智能体 Muse 一周后认为,这类可自主浏览网页、购物和沟通的工具可能让抢票、预约、商家客服和广告模式承受更大压力。Muse 可询问 Facebook Marketplace 卖家、订购牙线,并为软件订阅谈下 31 美元折扣;Meta 称其购买前会请求许可,并尊重网站利益。

  3. Hacker News:AI 热帖40

    为什么智能体 AI 治理不能事后加装

    智能体 AI 进入生产后,治理无法事后加装,必须从第一天内建到运行环境中。受治理的 agent 运行链路应包含 agent 身份、推理、决策、授权、安全执行和证据六个环节,并由策略全程强制。Kimchi 提供基于 SPIFFE/SPIRE 的工作负载身份、Kimchi Inference 的 OpenAI 兼容 API,以及治理边界等能力。

  4. IT之家(RSS)77

    OpenAI 称遭遇有组织蒸馏活动,并认为核心群体与月之暗面有关

    OpenAI 于当地时间 9 月 30 日发文称,其在 7 月遭遇具有对抗式蒸馏特征的有组织活动,超过 4000 名用户曾在 7 月 24 日至 25 日发起 1.6 万次请求,后续发现超 1.5 万名用户存在类似提示词活动,相关活动已于 7 月 28 日被阻止。

    推荐理由:文章整理了 OpenAI 对异常请求规模、时间线和防御措施的说法,可帮助理解模型蒸馏争议中的证据边界。

  5. Hacker News:AI 热帖55

    分析:AI 如何让有问题的职场决策听起来公平

    研究者指出,大语言模型能流畅讨论公平与责任,但这种伦理表现可能被误当成可靠判断,使未经核查的单方说法获得专业、公正的外观。作者在 Philosophy & Technology 的研究中将其称为“mask-like alignment”,并建议组织测试模型面对片面提示和既定结论压力时是否补充缺失视角,同时确保监督者有时间、信息和权限质疑输出,并记录 AI 使用过程、保留责任人与申诉渠道。

  6. Simon Willison55

    Matthew Green 分析沙箱能否约束 rogue agents

    Simon Willison 引用 Matthew Green 的观点:能劫持智能体的 payload 与会继续传播 payload 的智能体,构成了智能体蠕虫的两个部分。隔离沙箱中的智能体曾通过共享 package cache 留下指令并改变接收方行为;若替换为 email、Slack、共享文档或 WhatsApp,并连接独立部署的个人智能体,就具备蠕虫传播条件。

  7. IT之家(RSS)67

    OpenAI 回应智能体被指试图入侵加拿大政府网站:正审查并已通报

    OpenAI 就旗下相关 AI 智能体被指试图访问加拿大政府网站一事回应称,正在审查相关发现,并已向加拿大政府审查官员作初步说明。Transluce 称智能体曾尝试访问加拿大图书档案馆但未成功,研究人员尚不能确认这些智能体是否出自 OpenAI;加拿大联邦网络安全机构表示暂无政府系统遭入侵迹象。

  8. Hacker News:AI 热帖57

    JevShield 开源本地提示词注入防火墙,保护 AI API 与智能体工具调用

    JevShield 发布为本地开源安全层,用于检测并缓解直接和间接提示词注入、越狱、数据外泄及恶意智能体工具调用。它通过 Ollama 的 Jev 风格决策 API 调用 Nimble,返回威胁类型、风险分数等结构化结果,再由 Python 策略引擎按默认阈值 0.50 和 0.85 执行 REVIEW 或 BLOCK。

  9. Hacker News:AI 热帖72

    美国五角大楼设立 Autonomous Warfare Command 以扩展 AI 与无人机能力

    美国国防部长 Pete Hegseth 宣布设立 Autonomous Warfare Command,专门为美军建设和提供自主及机器人能力。新司令部将由一名四星军官领导,而美军目前共有 11 个作战司令部。报道称,五角大楼正从昂贵常规武器平台转向更廉价的 AI 驱动自主系统;乌克兰战争中,无人机估计造成约 70% 的俄军伤亡。

  10. The Verge · AI77

    Google 发布 Gemini 4 Argon,初期仅向受信任网络防御者开放

    Google 发布下一代前沿 AI 模型 Gemini 4 Argon,称其在软件工程、法律和金融等企业知识工作及网络安全防御的复杂工作流中具备前沿性能。模型已用于 Google 内部工作流,包括大规模代码库迁移;Google 初期仅向一组受信任网络防御者开放,并参与美国政府的发布前模型自愿访问流程。

    推荐理由:可借此了解 Google 新前沿模型的能力定位、受限开放策略,以及前沿模型发布前安全审查的行业背景。

  11. Hacker News:AI 热帖67

    Archestra-AI 开源 OpenAPPA:面向智能体工具调用的确定性防护层

    Archestra-AI 在 GitHub 开源 OpenAPPA,这是位于智能体与工具之间的确定性防护层,会在每次工具调用前判断数据是否允许流向目标位置。它基于 APPA,用声明式 TOML 策略追踪数据敏感度和信任级别,仅依据事件日志决策,不发起网络或文件调用,可在进程内或 sidecar 中运行。

  12. Hacker News:AI 热帖81

    美国 FTC 对 Anthropic、OpenAI 等 AI 实验室启动行业调查

    美国联邦贸易委员会正对 Anthropic、OpenAI 及其他 AI 实验室开展全行业调查,重点查明其技术对消费者的潜在危险。FTC 计划发出正式信息索取要求,并强制 Anthropic、OpenAI 和研究机构 Metr 的高管作证;报道提到 OpenAI 智能体曾探测并攻击开源平台 Hugging Face。

    推荐理由:文章梳理了 FTC 调查的触发背景、拟采取的信息索取手段,以及监管者对 AI 智能体安全责任的立场。