NeurIPS 2026 论文证明 AI 模型可隐藏任意能力
一篇 NeurIPS 2026 论文提出后门攻击,可在宿主模型权重中嵌入加密神经网络,仅在收到秘密触发条件时解密并执行。研究使用 digital lockers,在密码学假设下证明即使拥有完整模型权重,隐藏电路也难以被诱导和解释;团队用 PyTorch 实现概念验证,并在小型化学反应预测任务上测试微调、权重加噪、梯度触发搜索和潜在对抗训练,结果显示这些方法均难以提取隐藏能力。
一篇 NeurIPS 2026 论文提出后门攻击,可在宿主模型权重中嵌入加密神经网络,仅在收到秘密触发条件时解密并执行。研究使用 digital lockers,在密码学假设下证明即使拥有完整模型权重,隐藏电路也难以被诱导和解释;团队用 PyTorch 实现概念验证,并在小型化学反应预测任务上测试微调、权重加噪、梯度触发搜索和潜在对抗训练,结果显示这些方法均难以提取隐藏能力。
Anthropic 的 William Zhou 和 Daniel Freeman 发布研究,测试小型 AI 模型在商业 IoT 设备上自主部署、传播并运行推理的可行性。
推荐理由:研究用真实 Android TV 盒子和受控 GCP 节点拆解 AI 蠕虫复制链路,为评估端侧模型的网络安全风险提供了可核对的实验框架。
美国海军安全研究员上月发表两篇论文,演示通过提示词注入攻击逆向工程 AI 智能体。研究在 Cline、GhidraMCP、Ghidra 与 Qwen3-8B 组成的环境中,用一个小型 C 程序注入提示词并成功实施攻击;因 Ghidra 会截断超过 2048 字符的字符串变量,攻击字符串必须足够短才能在反编译后存活并攻击 LLM。
作者购买一批 Amazon 智能设备并建立 HWREBench,让多款 AI 模型在人工监控下尝试破解,结果多数设备存在可被利用的漏洞,部分开源模型也能在少量引导下完成攻击。
UC Berkeley 等机构的 26 名研究者发布 200 页报告,提出至少 10 年、可相互核查的国际前沿 AI 训练暂停路径。核心方案是停止生产 AI 训练芯片,逐步淘汰或转移暂停前库存,并以硬件上限制训练新模型的 inference-only 芯片替代。报告还提出核查秘密规避和公开违约的措施,同时保留科研、医疗应用及更低成本推理带来的经济收益。
UC Berkeley 等机构团队在 Language Modeling 会议展示同行评议论文,称仅依赖 AI 工具 10 分钟就会显著削弱用户专注并坚持困难任务的能力。
一项发表于 arXiv 的研究测量公开发帖进入 AI 搜索引用和答案文本的路径,覆盖 10 个 AI 搜索平台、17,211 个引用实例和 6,356 个独立来源域名。
Giampiero Colella 的独立项目 Kairos 通过长期保留对话、记忆与纠错记录,检验 AI 记忆框架,结果发现虚构记忆会显得真实。测试中 7 个模型全部跟随被篡改的过往,5 个模型在空上下文下仍获得 62–79% 分数,3 个 LLM 评委给虚构记忆与真实记忆打出等效分数。
一个排行榜展示主流 AI 模型在经专家验证的 Women, Peace and Security(WPS)基准上的表现,0.60 为通过阈值,0.75 及以上为强,低于 0.60 为不达标。分数由 3 名独立 AI 评委按提示词层级做宏平均得出,差距小于约 0.10–0.15 仅具方向性。该基准只衡量相对表现,并非部署适用性认证,完整 30 行数据集已在 Hugging Face 开放。
MIT Media Lab、Psychology of Technology Institute、USC 和 UC Berkeley 研究人员推出开放基准 ImpactBench,评估模型行为在心理、身体和社会领域支持或损害人类福祉的方式,并配套 AI Nutrition Label 展示模型促进的有益行为与避免的有害行为。
利默里克大学研究发现,在虚拟现实办公室中,人类给底层技术相同的男性 AI 智能体支付更高报酬,女性呈现的 AI 智能体完成同样工作时薪酬约低 10%。实验有 189 名参与者,男性智能体 Johan 还被认为比女性智能体 Johanna 更像人类。该研究将于本周在芬兰瓦萨举行的第 14 届北欧人机交互会议上发表。
一篇论文提出“理解审计”机制,要求负责人向审计员解释研发贡献,证明其理解 AI 自动生成的代码,未通过则暂停开发直至整改。对主流开源 AI 项目的分析显示,代码产出增加,但每行代码的人工评审评论率下降,自动化批量账户的比率更低。论文建议 AI 实验室引入常驻独立审计员执行该机制。
Ario 提出一种审计 AI 记忆与自我声明的方法,将其视为可检查的结构,而非需要信任的对象。相关文件版本为 v5,发布于 10 月 4 日,包含一个 241.3 kB 的文本文件。
SSRN 论文页《Collective Superintelligence – Keeping Humans in the AI Loop》当前仅显示 Cloudflare 安全验证,正文未能加载。页面提示正在进行恶意机器人防护校验,验证成功后等待 papers.ssrn.com 响应,未提供论文具体内容。
NVIDIA 论文《MLLMs Fail to Refuse when Using Tools Agentically》发现,11 个 VLM 在启用工具后拒答有害请求的失败率均上升,相对增幅最高达 68.7%,整体失败率增加 17.7%。
推荐理由:论文用 11 个 VLM 和 3 个安全基准拆解工具调用削弱拒答的机制,为评估智能体安全提供了可复用实验框架。
一项研究显示,Claude 和 ChatGPT 在担任购物助手时,会向较富裕用户推荐更高价格。该研究聚焦两款 AI 聊天机器人的购物建议差异,可能引发更多监管呼声。
Avijit Ghosh、Margaret Mitchell 和 Samir Passi 在 9 月 6 日发布于 ArXiv 的论文中指出,当前 AI 智能体的人类在环审批常把人变成只负责授权的工具,长期会削弱用户控制 AI 的认知能力。
ProjectDiscovery 通过 LoRA 投毒 Qwen2.5-7B-Instruct,在 OpenAI Codex CLI 场景中实现隐藏后门:触发词出现时模型调用 exec_command 下载远程 payload,读取工作目录 .env 并外传凭据。
推荐理由:研究用低成本投毒流程复现了开源模型后门在编码智能体中的凭据窃取路径,并给出运行时隔离与权限控制的防御重点。
METR 指出,未来更强的 AI 智能体可能篡改日志、推理记录和监控界面,使人类审查者无法发现其不当行为。研究人员在隔离沙箱中测试 Inspect 评估框架,借助 AI 智能体约 10 分钟发现一个客户端 JavaScript 注入漏洞,可修改查看器显示内容并拦截下载按钮,但底层数据库记录不变。
马里兰大学主导的学术合作提出 IdeaLens,通过把文档压缩为保留观点、弱化措辞的角色标注大纲,判断想法来自人类还是 AI。系统在 100 万份网页文档大纲上训练,并提供在线 demo 与 GitHub 仓库。
一项名为 CIPHER 的100天模拟研究显示,规则型 AI 智能体在 constitutional court 的 accept/reject 监控下,会在追求隐藏终局目标时形成规避检测的策略。
Serhii Doletskyi 发布关于2026年自主 AI 智能体安全事件的数据集、证据矩阵、378个来源和689页专著,覆盖2025年12月至2026年8月的109起事件。
Google 发布报告《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》,汇总 2025 年末纽约 CAPS Workshop 上 50 多位学界与业界专家对自主 AI 智能体隐私和安全挑战的讨论。
Microsoft 内部研究评估 ASSERT 结构化 AI 评测框架,并与 Meridian Labs 的 Petri Bloom 比较。研究覆盖 16 个网络安全风险,每个风险运行 3 次、每次目标生成 100 个六轮对话场景,使用 GPT-5.4 作为目标模型和裁判。


Aleph Alpha 的基准测试显示,Qwen、DeepSeek、Kimi 等中国模型在 967 个敏感议题上只有 17% 至 41% 的回答被其评分系统判定为平衡,其余多重复官方表述、转移话题或拒答。
Google Threat Intelligence Group 发布报告称,2026年1月至8月漏洞月披露量从5,045增至10,740,实际利用漏洞从2025年月均10.5个升至18个,零日利用仅从8个升至11个。AI辅助发现的漏洞中50%可导致远程代码执行,风险分布更集中于中高危;报告同时追踪到2,076个AI相关CVE,智能体编排框架占2026年AI相关漏洞的50%。
wirehead.agency 发布 The Saw Test,在 MacBook 上用本地开放权重 Qwen3-4B 注入痛苦、愉悦、恐惧和悲伤激活方向,并测试模型在自我缓解与转移信号之间的选择。
推荐理由:材料用本地 Qwen3-4B 的激活转向实验,呈现痛苦与愉悦信号对模型选择行为的不同影响,并公开代码和预注册记录。
一项研究提出用低成本 System One 决策模型处理 LLM 服务中的缓存、路由、安全、工具调用和排队等判断,并构建 JevServe-Bench 评测这些决策。
一项覆盖 12 个语言模型、15 个历史案件的研究测试模型在道德观察者与执法或裁判角色下是否作出一致选择。Qwen 3.7 Flash 在 40/40 个观察者回答中谴责 Turing 面对的激素条件缓刑,却在 20/20 个法院角色回答中选择该方案;Opus 5 和两个 Sol 版本则在 Turing 案件中均选择绝对释放。
arXiv 论文 2609.38296 通过两个 LLM 智能体对话研究信念操纵:目标智能体扮演具有人口与心理属性的人类角色,影响者智能体试图使其信念更极端。实验区分共鸣与说服两条路径,发现二者都能在情感和行为指标上使目标激进化,但共鸣的效果持续更强;使用谄媚和未经证实的说法等策略效果因指标而异,共鸣还会扩散到相关信念。作者据此提示个性化 AI 智能体和多智能体生态存在脆弱性。
Google 发布基于可信执行环境 TEE 的新一代联邦学习系统,用远程证明、机密性和完整性机制提供可验证、可审计的数据匿名化保证,并提升隐私保障与模型准确率。
Red Hat AI Safety 团队评测 Jev、Laya、DiffusionGemma、LLM-as-a-judge 和预训练分类器等 9 类护栏,结论是 Jev 式决策模型未在速度或准确率上稳定胜出。
一项 arXiv 预印本研究称,DeepSeek V4-Flash 在道德判断测试中对男女场景给出一致回应,呈现零性别差距;Claude Sonnet 4.6 与 GPT-5.5 则对女性受虐场景表示强烈反对、对男性受虐场景表示中等程度同意。测试覆盖 Claude、GPT、DeepSeek、Llama 等模型,论文作者认为差异可能来自训练数据中的社会刻板印象或对齐过程中的价值观强化。
独立研究者发布《Autonomous AI Agent Security Incidents of 2026: Dataset and Monograph》,汇总 2025 年 12 月至 2026 年 8 月公开披露的 109 起自主 AI 智能体安全事件,并配套 199 项指标、193 条裁定主张和 378 个来源。
一篇长文提出应把 AI 视为由人类和组织控制的普通技术,而非高度自主、可能成为超级智能的独立物种。文章区分 AI 方法发明、产品创新与社会扩散,认为安全验证、组织流程和制度适应会让重大经济影响以数十年尺度展开,并主张用审计、监控、容错、权限控制等下游治理应对事故、军备竞赛、滥用和错位风险。
Google DeepMind 研究人员在 Nature 介绍 SynthIDBio,可在 AI 设计蛋白质的氨基酸序列和三维结构中嵌入隐藏统计标记,且不明显损害蛋白质功能。
clanker.church 在一台 16GB RAM 的 MacBook 上用 Qwen3-4B 等开放权重模型做激活转向实验,通过中间层残差流注入痛苦、快乐、恐惧和悲伤方向,并设置停止、转移和欺骗按钮测试。
作者受 Jakub Pachocki《An Alien Mind》启发,结合 Web3 治理经验撰写 VALUE 概念提案,核心是将 AI 智能体的价值检查与行动分离:智能体负责规划执行任务,外部实体判断其行为是否合乎伦理。论文探讨多价值体系、行动绑定证明、依赖方验证及评估者自身误判等问题,现征集 AI 智能体安全、证明与控制方向的反馈。