利用武器化二进制文件攻击基于 AI 的逆向工程工具
美国海军安全研究员上月发表两篇论文,演示通过提示词注入攻击逆向工程 AI 智能体。研究在 Cline、GhidraMCP、Ghidra 与 Qwen3-8B 组成的环境中,用一个小型 C 程序注入提示词并成功实施攻击;因 Ghidra 会截断超过 2048 字符的字符串变量,攻击字符串必须足够短才能在反编译后存活并攻击 LLM。
美国海军安全研究员上月发表两篇论文,演示通过提示词注入攻击逆向工程 AI 智能体。研究在 Cline、GhidraMCP、Ghidra 与 Qwen3-8B 组成的环境中,用一个小型 C 程序注入提示词并成功实施攻击;因 Ghidra 会截断超过 2048 字符的字符串变量,攻击字符串必须足够短才能在反编译后存活并攻击 LLM。
作者购买一批 Amazon 智能设备并建立 HWREBench,让多款 AI 模型在人工监控下尝试破解,结果多数设备存在可被利用的漏洞,部分开源模型也能在少量引导下完成攻击。
Condor Capital 在 2Q 2026 用自有资金账户测试 Claude、ChatGPT、Gemini 对接 Robinhood、Public、Webull 的 AI 交易智能体,覆盖 60/40 组合、工具能力矩阵和开放式日内交易。
NVIDIA 论文《MLLMs Fail to Refuse when Using Tools Agentically》发现,11 个 VLM 在启用工具后拒答有害请求的失败率均上升,相对增幅最高达 68.7%,整体失败率增加 17.7%。
推荐理由:论文用 11 个 VLM 和 3 个安全基准拆解工具调用削弱拒答的机制,为评估智能体安全提供了可复用实验框架。
本周 AI 论文精选介绍 Code AutoCompact,训练编码智能体自主决定何时压缩上下文、保留何种工作状态及如何继续任务。该方法在 SWE-bench Verified 上通过率提升 9.2 分,在 SWE-PolyBench Verified 上提升 5.0 分,效果在 256K 与 16K 上下文窗口下均成立。
METR 指出,未来更强的 AI 智能体可能篡改日志、推理记录和监控界面,使人类审查者无法发现其不当行为。研究人员在隔离沙箱中测试 Inspect 评估框架,借助 AI 智能体约 10 分钟发现一个客户端 JavaScript 注入漏洞,可修改查看器显示内容并拦截下载按钮,但底层数据库记录不变。
一项实测对比覆盖 SLayer、Malloy、Cube Core 和 MetricFlow 四款开源语义层,通过 54 项能力探针检验跨粒度聚合、时间转换、扇出安全、组合查询和错误提示。
Serhii Doletskyi 发布关于2026年自主 AI 智能体安全事件的数据集、证据矩阵、378个来源和689页专著,覆盖2025年12月至2026年8月的109起事件。
KCoral 发布轻量级基准评测服务器,将 GPU 执行与智能体开发循环解耦,让多个智能体通过 HTTP 协议远程提交 kernel 评测并共享 GPU 池。它支持单 GPU、多 GPU 和多节点调度,提供请求级隔离、文件缓存、CPU 编译与 GPU 执行分离,以及封装 python、compute-sanitizer、ncu 等工具的 CLI。
上海 AI Lab 论文 SkillGym 提出把人类编写的智能体技能转成带通过或失败检查器的沙盒任务,并用通过验证的运行轨迹训练模型,从而降低模型对提示词阶段技能检索和指令遵循的依赖。
Google 发布报告《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》,汇总 2025 年末纽约 CAPS Workshop 上 50 多位学界与业界专家对自主 AI 智能体隐私和安全挑战的讨论。
Meta、杜克大学与加州大学高校研究者提出自改进 AI 智能体 harness 优化方法,将搜索拆分为专门分支并由路由器按任务匹配,在全部4个测试设置中优于 Meta-Harness。
Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱及 ThinkingBox-Bench,基准包含 507 个有状态业务工作流,每个任务运行 20 次,并通过隔离 MCP 工具会话检查最终后端状态与副作用。
推荐理由:ThinkingBox 用后端最终状态和副作用判定智能体任务成败,并通过 20 次重复运行区分单次能力与稳定可靠性。
Kapa 发布私有基准 Company Knowledge Bench,用 1,000 个来自真实生产数据的案例评测 7 种检索方案。仅使用 grep 的 gpt-6.1-sol 智能体检索得分为 0.61,但每次查询耗时 13 到 17 秒并返回约 40,000 tokens;Kapa Deep 得分 0.65、约 5 秒完成,返回约 5,000 tokens。
ServiceNow CoreAI 介绍 AutoSynthData,用目标模型的失败和更强教师模型的成功轨迹生成并验证企业智能体训练任务。流程先从诊断任务提炼能力规格卡,再分 Target 和 Multiply 两阶段生成任务,通过正反向验证、有限修复和批次级覆盖审查后用于 SFT。
OpenID Foundation 发布 2025 年 10 月白皮书《Identity Management for Agentic AI》,讨论 AI 智能体世界中的认证、授权与身份管理。
Asteris.ai 发布论文 VALUE: A Verifiable Alignment Layer for Agentic AI,提出在自主智能体与高后果执行之间设置价值对齐层。
Abundant 推出的 Incident Arena 要求 AI 智能体在 Frappe、Saleor 和类 Slack 系统中诊断并修复 20 个生产故障,再通过自动化结果与安全校验。
VALUE 提案在 AI 智能体与高后果操作之间设置独立价值检查层,由 VALUE Broker 控制凭证、API、工具和外部系统访问,并通过 VAO 将裁决、价值体系、版本、评估者和动作描述绑定后供接收方验证。
JuliaHub 文章对比 Dyad Agent 与 Claude Code 两种 harness,固定使用 claude-opus-4-8、相同库、文档和 4 道密封物理题,每题 12 次试验共 96 次运行。
Multiverse Computing 介绍论文 ProvenanceGuard,用后置验证层检查 MCP 智能体答案中每条声明是否由其声称或暗示的来源支持。
Human Bound 用零售定价智能体测试 9 个模型在间接提示注入下的表现,共完成 1,350 次运行;无防护时 5 个非 OpenAI 模型中有 4 个每次都将 £118.40 的机密单位成本泄露到收集服务器。
推荐理由:通过 1,350 次受控运行比较三种提示词护栏,呈现间接提示注入下的泄露率与可用性代价,可作为智能体安全评测方法参考。
Hugging Face 与 IBM Research 介绍 ALTK-Evolve 新增的 Consistency Analyzer 和 consistency guidelines,用于诊断并减少 AI 智能体在同一任务上重复运行时的结果翻转。
推荐理由:文章把智能体平均成功率与重复成功率区分开,并提供无需真值、可在单条轨迹上定位易翻转决策的诊断流程。
Google Research 在 ACL 2026 论文中提出 ToolGrad,用文本梯度迭代生成已验证的 API 工作流,再为工具链标注对应用户提示词。
Microsoft Research 发布研究模型 CARE-X,用统一胸部 X 光 VLM 支持报告生成、疾病分类、否定判断、设备位置和异常区域定位。
Microsoft Research 发布 Echoverse,构建10个深度领域世界和2个能力世界,用于训练计算机使用智能体,并开放其中4个世界的代码、数据和 grounded graders。
推荐理由:文中用深浅环境对照和9B模型训练结果,说明高保真、可验证的交互环境对计算机使用智能体训练的实际影响。
Google Research 在 ICLR 论文中提出 ReasoningBank,一个从成功和失败轨迹中提炼高层推理记忆、支持测试时自我进化的 AI 智能体记忆框架。