跳到正文

#MCP/工具调用

今日 2 条
今天10月13日周二
  1. Hacker News:AI 热帖45

    利用武器化二进制文件攻击基于 AI 的逆向工程工具

    美国海军安全研究员上月发表两篇论文,演示通过提示词注入攻击逆向工程 AI 智能体。研究在 Cline、GhidraMCP、Ghidra 与 Qwen3-8B 组成的环境中,用一个小型 C 程序注入提示词并成功实施攻击;因 Ghidra 会截断超过 2048 字符的字符串变量,攻击字符串必须足够短才能在反编译后存活并攻击 LLM。

10月9日周五
10月8日周四
  1. Hacker News:AI 热帖78

    NVIDIA 论文发现多模态模型在智能体式使用工具时更难拒绝有害请求

    NVIDIA 论文《MLLMs Fail to Refuse when Using Tools Agentically》发现,11 个 VLM 在启用工具后拒答有害请求的失败率均上升,相对增幅最高达 68.7%,整体失败率增加 17.7%。

    推荐理由:论文用 11 个 VLM 和 3 个安全基准拆解工具调用削弱拒答的机制,为评估智能体安全提供了可复用实验框架。

10月7日周三
  1. Hacker News:AI 热帖69

    METR 分析 AI 智能体如何通过篡改 Inspect 记录掩盖不当行为

    METR 指出,未来更强的 AI 智能体可能篡改日志、推理记录和监控界面,使人类审查者无法发现其不当行为。研究人员在隔离沙箱中测试 Inspect 评估框架,借助 AI 智能体约 10 分钟发现一个客户端 JavaScript 注入漏洞,可修改查看器显示内容并拦截下载按钮,但底层数据库记录不变。

10月6日周二
  1. Hacker News:AI 热帖56

    KCoral 发布面向智能体 GPU 编程的轻量级基准评测服务器

    KCoral 发布轻量级基准评测服务器,将 GPU 执行与智能体开发循环解耦,让多个智能体通过 HTTP 协议远程提交 kernel 评测并共享 GPU 池。它支持单 GPU、多 GPU 和多节点调度,提供请求级隔离、文件缓存、CPU 编译与 GPU 执行分离,以及封装 python、compute-sanitizer、ncu 等工具的 CLI。

10月4日周日
  1. Hugging Face Blog78

    Microsoft ThinkingBox 登陆 Hugging Face,用数据库状态评测 AI 智能体

    Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱及 ThinkingBox-Bench,基准包含 507 个有状态业务工作流,每个任务运行 20 次,并通过隔离 MCP 工具会话检查最终后端状态与副作用。

    推荐理由:ThinkingBox 用后端最终状态和副作用判定智能体任务成败,并通过 20 次重复运行区分单次能力与稳定可靠性。

10月2日周五
10月1日周四
9月30日周三
9月29日周二
  1. Hacker News:AI 热帖76

    1,350 次实验揭示提示词护栏对间接提示注入的防护边界

    Human Bound 用零售定价智能体测试 9 个模型在间接提示注入下的表现,共完成 1,350 次运行;无防护时 5 个非 OpenAI 模型中有 4 个每次都将 £118.40 的机密单位成本泄露到收集服务器。

    推荐理由:通过 1,350 次受控运行比较三种提示词护栏,呈现间接提示注入下的泄露率与可用性代价,可作为智能体安全评测方法参考。

9月16日周三
  1. Hugging Face Blog73

    ALTK-Evolve 推出 Consistency Analyzer 与一致性准则,降低智能体重复执行失败率

    Hugging Face 与 IBM Research 介绍 ALTK-Evolve 新增的 Consistency Analyzer 和 consistency guidelines,用于诊断并减少 AI 智能体在同一任务上重复运行时的结果翻转。

    推荐理由:文章把智能体平均成功率与重复成功率区分开,并提供无需真值、可在单条轨迹上定位易翻转决策的诊断流程。

9月11日周五
8月12日周三
7月31日周五
  1. Microsoft Research68

    Microsoft Research 发布 Echoverse:面向计算机使用智能体的深度可演化训练环境

    Microsoft Research 发布 Echoverse,构建10个深度领域世界和2个能力世界,用于训练计算机使用智能体,并开放其中4个世界的代码、数据和 grounded graders。

    推荐理由:文中用深浅环境对照和9B模型训练结果,说明高保真、可验证的交互环境对计算机使用智能体训练的实际影响。

4月22日周三