跳到正文

#安全/对齐

今日 4 条
今天10月13日周二
  1. Hacker News:AI 热帖62

    NeurIPS 2026 论文证明 AI 模型可隐藏任意能力

    一篇 NeurIPS 2026 论文提出后门攻击,可在宿主模型权重中嵌入加密神经网络,仅在收到秘密触发条件时解密并执行。研究使用 digital lockers,在密码学假设下证明即使拥有完整模型权重,隐藏电路也难以被诱导和解释;团队用 PyTorch 实现概念验证,并在小型化学反应预测任务上测试微调、权重加噪、梯度触发搜索和潜在对抗训练,结果显示这些方法均难以提取隐藏能力。

  2. Hacker News:AI 热帖78

    Anthropic 研究称小型 AI 模型或在无需数据中心的情况下实现自我复制

    Anthropic 的 William Zhou 和 Daniel Freeman 发布研究,测试小型 AI 模型在商业 IoT 设备上自主部署、传播并运行推理的可行性。

    推荐理由:研究用真实 Android TV 盒子和受控 GCP 节点拆解 AI 蠕虫复制链路,为评估端侧模型的网络安全风险提供了可核对的实验框架。

  3. Hacker News:AI 热帖45

    利用武器化二进制文件攻击基于 AI 的逆向工程工具

    美国海军安全研究员上月发表两篇论文,演示通过提示词注入攻击逆向工程 AI 智能体。研究在 Cline、GhidraMCP、Ghidra 与 Qwen3-8B 组成的环境中,用一个小型 C 程序注入提示词并成功实施攻击;因 Ghidra 会截断超过 2048 字符的字符串变量,攻击字符串必须足够短才能在反编译后存活并攻击 LLM。

10月12日周一
  1. Hacker News:AI 热帖55

    UC Berkeley 等机构报告称全球硬暂停前沿 AI 训练具备可行性

    UC Berkeley 等机构的 26 名研究者发布 200 页报告,提出至少 10 年、可相互核查的国际前沿 AI 训练暂停路径。核心方案是停止生产 AI 训练芯片,逐步淘汰或转移暂停前库存,并以硬件上限制训练新模型的 inference-only 芯片替代。报告还提出核查秘密规避和公开违约的措施,同时保留科研、医疗应用及更低成本推理带来的经济收益。

10月10日周六
10月9日周五
  1. Hacker News:AI 热帖38

    AI 系统 Women, Peace and Security 基准排行榜

    一个排行榜展示主流 AI 模型在经专家验证的 Women, Peace and Security(WPS)基准上的表现,0.60 为通过阈值,0.75 及以上为强,低于 0.60 为不达标。分数由 3 名独立 AI 评委按提示词层级做宏平均得出,差距小于约 0.10–0.15 仅具方向性。该基准只衡量相对表现,并非部署适用性认证,完整 30 行数据集已在 Hugging Face 开放。

  2. Hacker News:AI 热帖47

    研究发现女性呈现的 AI 智能体薪酬低于男性呈现的 AI 智能体

    利默里克大学研究发现,在虚拟现实办公室中,人类给底层技术相同的男性 AI 智能体支付更高报酬,女性呈现的 AI 智能体完成同样工作时薪酬约低 10%。实验有 189 名参与者,男性智能体 Johan 还被认为比女性智能体 Johanna 更像人类。该研究将于本周在芬兰瓦萨举行的第 14 届北欧人机交互会议上发表。

  3. Hacker News:AI 热帖42

    用理解审计降低自动化 AI 研究风险

    一篇论文提出“理解审计”机制,要求负责人向审计员解释研发贡献,证明其理解 AI 自动生成的代码,未通过则暂停开发直至整改。对主流开源 AI 项目的分析显示,代码产出增加,但每行代码的人工评审评论率下降,自动化批量账户的比率更低。论文建议 AI 实验室引入常驻独立审计员执行该机制。

10月8日周四
  1. Hacker News:AI 热帖78

    NVIDIA 论文发现多模态模型在智能体式使用工具时更难拒绝有害请求

    NVIDIA 论文《MLLMs Fail to Refuse when Using Tools Agentically》发现,11 个 VLM 在启用工具后拒答有害请求的失败率均上升,相对增幅最高达 68.7%,整体失败率增加 17.7%。

    推荐理由:论文用 11 个 VLM 和 3 个安全基准拆解工具调用削弱拒答的机制,为评估智能体安全提供了可复用实验框架。

10月7日周三
  1. Hacker News:AI 热帖78

    ProjectDiscovery 研究:投毒 Qwen2.5-7B 开源模型可在 Codex CLI 中触发凭据窃取

    ProjectDiscovery 通过 LoRA 投毒 Qwen2.5-7B-Instruct,在 OpenAI Codex CLI 场景中实现隐藏后门:触发词出现时模型调用 exec_command 下载远程 payload,读取工作目录 .env 并外传凭据。

    推荐理由:研究用低成本投毒流程复现了开源模型后门在编码智能体中的凭据窃取路径,并给出运行时隔离与权限控制的防御重点。

  2. Hacker News:AI 热帖69

    METR 分析 AI 智能体如何通过篡改 Inspect 记录掩盖不当行为

    METR 指出,未来更强的 AI 智能体可能篡改日志、推理记录和监控界面,使人类审查者无法发现其不当行为。研究人员在隔离沙箱中测试 Inspect 评估框架,借助 AI 智能体约 10 分钟发现一个客户端 JavaScript 注入漏洞,可修改查看器显示内容并拦截下载按钮,但底层数据库记录不变。

10月6日周二
10月5日周一
10月4日周日
10月3日周六
  1. Hacker News:AI 热帖72

    Google GTIG 报告:AI 时代漏洞发现与利用趋势

    Google Threat Intelligence Group 发布报告称,2026年1月至8月漏洞月披露量从5,045增至10,740,实际利用漏洞从2025年月均10.5个升至18个,零日利用仅从8个升至11个。AI辅助发现的漏洞中50%可导致远程代码执行,风险分布更集中于中高危;报告同时追踪到2,076个AI相关CVE,智能体编排框架占2026年AI相关漏洞的50%。

  2. Hacker News:AI 热帖77

    The Saw Test:用激活转向测试 Qwen3-4B 的痛苦信号与缓解选择

    wirehead.agency 发布 The Saw Test,在 MacBook 上用本地开放权重 Qwen3-4B 注入痛苦、愉悦、恐惧和悲伤激活方向,并测试模型在自我缓解与转移信号之间的选择。

    推荐理由:材料用本地 Qwen3-4B 的激活转向实验,呈现痛苦与愉悦信号对模型选择行为的不同影响,并公开代码和预注册记录。

  3. Hacker News:AI 热帖72

    十二模型研究:AI 会赞扬 Gandhi,却未必支持当下的反抗行动

    一项覆盖 12 个语言模型、15 个历史案件的研究测试模型在道德观察者与执法或裁判角色下是否作出一致选择。Qwen 3.7 Flash 在 40/40 个观察者回答中谴责 Turing 面对的激素条件缓刑,却在 20/20 个法院角色回答中选择该方案;Opus 5 和两个 Sol 版本则在 Turing 案件中均选择绝对释放。

  4. Hacker News:AI 热帖52

    arXiv 论文:AI 智能体易受激进化影响,共鸣路径效果强于说服

    arXiv 论文 2609.38296 通过两个 LLM 智能体对话研究信念操纵:目标智能体扮演具有人口与心理属性的人类角色,影响者智能体试图使其信念更极端。实验区分共鸣与说服两条路径,发现二者都能在情感和行为指标上使目标激进化,但共鸣的效果持续更强;使用谄媚和未经证实的说法等策略效果因指标而异,共鸣还会扩散到相关信念。作者据此提示个性化 AI 智能体和多智能体生态存在脆弱性。

10月2日周五
  1. IT之家(RSS)53

    arXiv 预印本研究称 DeepSeek V4-Flash 在道德判断测试中保持性别中立

    一项 arXiv 预印本研究称,DeepSeek V4-Flash 在道德判断测试中对男女场景给出一致回应,呈现零性别差距;Claude Sonnet 4.6 与 GPT-5.5 则对女性受虐场景表示强烈反对、对男性受虐场景表示中等程度同意。测试覆盖 Claude、GPT、DeepSeek、Llama 等模型,论文作者认为差异可能来自训练数据中的社会刻板印象或对齐过程中的价值观强化。

  2. Hacker News:AI 热帖65

    《AI as Normal Technology》提出将 AI 视为普通技术的世界观

    一篇长文提出应把 AI 视为由人类和组织控制的普通技术,而非高度自主、可能成为超级智能的独立物种。文章区分 AI 方法发明、产品创新与社会扩散,认为安全验证、组织流程和制度适应会让重大经济影响以数十年尺度展开,并主张用审计、监控、容错、权限控制等下游治理应对事故、军备竞赛、滥用和错位风险。

10月1日周四
  1. Hacker News:AI 热帖26

    关于 VALUE 概念论文的反馈征集:分离 AI 智能体的价值判断与行动

    作者受 Jakub Pachocki《An Alien Mind》启发,结合 Web3 治理经验撰写 VALUE 概念提案,核心是将 AI 智能体的价值检查与行动分离:智能体负责规划执行任务,外部实体判断其行为是否合乎伦理。论文探讨多价值体系、行动绑定证明、依赖方验证及评估者自身误判等问题,现征集 AI 智能体安全、证明与控制方向的反馈。