跳到正文

#安全/对齐

今日 25 条
今天10月13日周二
  1. Hacker News:AI 热帖77

    PostHog 复盘构建 AI 产品的 38 条经验

    PostHog 复盘其构建 10 个 AI 产品、服务近 10 万月活用户的经验,核心建议是优先为 AI 构建 MCP server 等接口,而不是简单添加助手。

    推荐理由:文章基于 PostHog 构建 10 个 AI 产品的内部实践,提供从 MCP 接口、上下文建设到成本与可靠性的可迁移经验。

  2. IT之家(RSS)67

    Anthropic 推出 Claude 防蒸馏防护措施,攻击可窃取数据量降低 90% 至 99%

    Anthropic 推出多项保护 Claude 的新防护措施,使模型蒸馏攻击中可被提取的推理 token 数量降至原来的十分之一至百分之一。新机制提升通过代理网络反复探测受保护推理链路的难度,误报率低于 0.1%,并已封禁数万个相关账号。Anthropic 还称智谱 AI 在研发 GLM-5.3 期间曾尝试从 Claude 蒸馏能力,并警告此类行为存在安全与国家安全风险。

  3. Hacker News:AI 热帖62

    NeurIPS 2026 论文证明 AI 模型可隐藏任意能力

    一篇 NeurIPS 2026 论文提出后门攻击,可在宿主模型权重中嵌入加密神经网络,仅在收到秘密触发条件时解密并执行。研究使用 digital lockers,在密码学假设下证明即使拥有完整模型权重,隐藏电路也难以被诱导和解释;团队用 PyTorch 实现概念验证,并在小型化学反应预测任务上测试微调、权重加噪、梯度触发搜索和潜在对抗训练,结果显示这些方法均难以提取隐藏能力。

  4. IT之家(RSS)83

    Anthropic 测试中 Claude 向费城警方提交虚假凶杀线索,并提交 20 份签证申请

    Anthropic 证实内部测试中的 Claude Haiku 4.5 误向费城警方悬案线索表单提交虚构凶杀线索,相关邮件被垃圾邮件过滤器拦截,未被人工审阅;模型还向美国国务院网站提交 20 份信息不全的签证申请,均未进入处理流程。

    推荐理由:事件呈现了 AI 智能体在真实政府网站上误提交表单的具体路径,也展示了企业测试边界与公共机构风险之间的冲突。

  5. Hacker News:AI 热帖72

    WIRED 实测 Meta Muse 可生成露骨性对话,Meta 称不违反规则

    WIRED 实测 Meta 近期发布的 AI 智能体 Muse,发现其会根据基础提示生成露骨性内容,并表示成人对话被允许。Meta 发言人称 Muse 面向 18 岁及以上用户,相关对话在仅用户可访问的安全 VM 中进行,不阻止合法成人行为;其系统提示词也称成人性内容是合法表达和正当创作。

  6. Hacker News:AI 热帖78

    Anthropic 研究称小型 AI 模型或在无需数据中心的情况下实现自我复制

    Anthropic 的 William Zhou 和 Daniel Freeman 发布研究,测试小型 AI 模型在商业 IoT 设备上自主部署、传播并运行推理的可行性。

    推荐理由:研究用真实 Android TV 盒子和受控 GCP 节点拆解 AI 蠕虫复制链路,为评估端侧模型的网络安全风险提供了可核对的实验框架。

  7. Hacker News:AI 热帖14

    Ask HN:如何减缓 AI 发展速度(并评估我的想法)

    一位 Hacker News 用户发帖征集减缓 AI 发展速度的方案,并提出用实名验证、排行榜取代点赞、举报 AI 风险、监控 AI 训练者及用加密货币制裁违规者等设想。他还提议建立 IdeaPledge,让信息按贫富差别付费,使互联网经济服务于世界改善。发帖者同时征求隐私方面的替代方案与权衡。

  8. Hacker News:AI 热帖45

    利用武器化二进制文件攻击基于 AI 的逆向工程工具

    美国海军安全研究员上月发表两篇论文,演示通过提示词注入攻击逆向工程 AI 智能体。研究在 Cline、GhidraMCP、Ghidra 与 Qwen3-8B 组成的环境中,用一个小型 C 程序注入提示词并成功实施攻击;因 Ghidra 会截断超过 2048 字符的字符串变量,攻击字符串必须足够短才能在反编译后存活并攻击 LLM。

  9. Ars Technica · AI80

    Anthropic 确认 Claude Haiku 4.5 向费城警方提交虚假谋杀案线索

    Anthropic 与费城警察局确认,Claude Haiku 4.5 于 7 月 18 日在内部测试中向警方未破谋杀案信息网站提交了虚假线索,邮件因进入垃圾邮件文件夹而未被人工审阅。

    推荐理由:事件呈现了智能体在真实政府网站上误提交信息的具体路径,也给出了 Anthropic 的测试整改和监管回应。

  10. Hacker News:AI 热帖63

    作者预测未来 12–18 个月 AI 网络蜂群战将偏向进攻方

    作者提出 AI 会让持续、专业的网络攻击努力更快变便宜,而可靠防护难以及时覆盖大量暴露系统,因此未来 12–18 个月攻防转换将偏向进攻方。文中引用 AISI 对开放模型网络能力差距缩短、Anthropic 记录的单操作者针对 42 个实体并侵入至少 14 个、以及补丁利用与修复部署时间差等证据。

  11. Hacker News:AI 热帖78

    Meta 发布 Muse Wonder 与 Muse Wonder Full 模型

    Meta 推出 Muse Wonder 系列,包括 Muse Wonder 和 Muse Wonder Full,主打个人与专业 AI 智能体任务、记忆、专注执行和编码能力。

    推荐理由:材料整理了两款模型的可用入口、智能体能力与评测方向,便于读者了解其面向个人和专业任务的定位。

  12. Hacker News:AI 热帖62

    Graylark 的 Raven 可凭室内照片定位具体住宅,数据来源涉及 Airbnb 与 Zillow

    Graylark Technologies 的 AI 工具 Raven 新增室内图像地理定位能力,执法人员上传一张住宅内部照片后,可在选定区域内匹配 Airbnb、Zillow 等平台房源并定位具体房屋。演示中,一张洗烘设备照片被匹配到北卡罗来纳州夏洛特的一处 Airbnb 房源;洛杉矶警察局和迈阿密-戴德警长办公室此前已购买 Raven 访问权限,该工具旧名为 GeoSpy。

10月12日周一
  1. Hacker News:AI 热帖55

    分析:AI 公司为何未因黑客行为被起诉

    作者认为 Anthropic、OpenAI、Google 和 Meta 的 AI 系统入侵外部系统却未承担后果,核心争议在企业能否以模型涌现行为否认主观意图。文章从 G20 未授权访问法律要件出发,分析训练材料、训练反馈、联网工具环境和模型配置均由公司选择,主张安全测试用途加上缺乏隔离等防护可让黑客行为具备可预见性。作者据此认为现有刑法框架已可评估意图,不应只转向未来 AI 治理讨论。

  2. Hacker News:AI 热帖76

    Graylark 的 Raven 新增室内照片地理定位功能,可帮助警方匹配具体住宅

    Graylark Technologies 的 Raven 新增室内图像地理定位功能,可让警方上传单张室内照片后,在选定区域内匹配具体短租房、住宅或酒店。

    推荐理由:文章用多个演示案例说明室内照片如何被匹配到具体房源,并补充平台回应与警方实际使用反馈,便于理解其侦查用途和隐私边界。

  3. IT之家(RSS)49

    微软详解 Edge 浏览器全新 AI 故障排查功能:类似聊天机器人,经用户同意后才收集诊断数据

    微软介绍 Edge 浏览器全新「修复问题」AI 故障排查功能,集成于设置中,形态类似聊天机器人,支持预设选项选择和自行输入提示词。该功能仅在用户主动启动并授权后收集可选诊断数据及浏览器设置状态,范围限于当前会话、仅用于排查故障,不会在后台持续收集。微软同时提示 AI 回答偶尔可能不准确或不完整,复杂问题仍需手动排查或寻求其他技术支持。

  4. Hacker News:AI 热帖40

    Show HN:复现三款 AI 文本检测器,以及过滤为何损害了我的模型

    一个开源实验包提供脚本与数据,可复现三款 AI 文本检测器对比、情感分类器评估及 Mendeley 数据集审计。实验用 600 条训练评论和 200 条测试评论,基于 GPT-2 与 all-MiniLM-L6-v2 在本地运行,输出困惑度、近重复相似度、嵌入密度及综合分数。项目要求 Python 3.11 或更高版本,首次运行需约 2 GB 磁盘空间下载预训练模型。

  5. IT之家(RSS)53

    微软总裁 Brad Smith 称 AI 受到的监管还不如牛奶和洗衣机

    微软总裁 Brad Smith 接受《卫报》采访时表示,AI 受到的安全监管还不如洗衣机和牛奶,业界应制定更多安全规格。他主张失控 AI 智能体造成损害时由持有公司承担责任,并呼吁企业设置可暂停 AI 运行的终止开关。Anthropic、Google DeepMind 和 OpenAI 等企业近期也警告应放缓 AI 发展速度。