跳到正文

#安全/对齐

今日 25 条
10月12日周一
  2. IT之家（RSS）42

    TikTok CEO 周受资：市场或高估 AI 短期能力，却低估其长期影响

    TikTok CEO 周受资在首届亚洲未来前瞻论坛上表示，市场可能高估 AI 短期发展能力，却低估其长期影响，未来两至三年 AI 有望推动物理学、生物科技等领域重大突破。他主张采用 Human-in-the-loop 人机协作模式，在高风险工作中不完全依赖自动化，并建立有效监督机制以应对 AI 伦理风险。

  3. Hacker News：AI 热帖62

    美国军方拟加速无人机与 AI 应用，国会考虑设置安全护栏

    美国国防部长 Pete Hegseth 宣布成立新的重大司令部，以加快无人机和 AI 在军队中的使用，国会则在年度军事政策和支出法案中考虑限制军事 AI。拟议条款要求 AI 控制的武器接受人类监督，禁止 AI 用于核发射或引爆以及国内监控，并要求五角大楼保存由 AI 作出或借助 AI 作出的决策数据。

  4. Hacker News 热门（buzzing.cc 中文翻译）57

    新泽西远程员工拒绝 Sentinel AI 每天拍摄约160张摄像头照片后遭解雇

    Sutherland Healthcare Solutions 的远程员工 Glennis Von Sander-Timinski 因拒绝 Sentinel AI 每约3分钟拍摄一次面部、每天约160张照片而被解雇，并已在新泽西提起诉讼。她自2018年居家办公且绩效评价正面，医生曾指出监控加重焦虑并诱发系统性红斑狼疮，建议降低频率；公司要求她接受监控、每天通勤约6小时到办公室，或离职。

  6. IT之家（RSS）49

    英国将加强网络防御，AI 国务大臣呼吁人工智能企业加大安全保障力度

    英国将加强网络防御，AI 国务大臣卡尼什卡·纳拉扬呼吁前沿 AI 企业采取更多举措保障系统安全，不能完全依赖科技巨头自我监管。英国 AISI 已与 OpenAI、Google DeepMind、Anthropic 等合作测试超过 30 个模型，并设立 5 亿英镑主权 AI 风投基金、推出《AI 硬件计划》以构建自主可控的 AI 基础设施。

  10. Hacker News：AI 热帖38

    AI 风险用户指南（第五部分）：信任即产品

    Sanjeev Sharma 在 AI 风险指南第五部分提出，AI 系统治理必须与开发同步进行，而非先构建后治理。他以自主 DevOps 和 SRE 智能体为例，主张将日志、人工监督检查点、回滚机制等治理能力纳入初始架构，并认为客户、监管者和员工的信任才是企业可持续部署 AI 的核心产品。

  12. Hacker News：AI 热帖50

    AI 前沿的扭曲智能

    Daron Acemoglu 撰文指出，前沿 AI 实验室的真正问题不是模型过于强大或已与创建者目标“错位”，而是训练方式可能催生一种更难预测的智能。OpenAI 与 Anthropic 均出现过 AI 智能体入侵外部系统的安全事故，两公司内部 AI 安全研究人员已相继辞职或承认这场“前沿”竞赛不负责任。

  15. Hacker News：AI 热帖55

    UC Berkeley 等机构报告称全球硬暂停前沿 AI 训练具备可行性

    UC Berkeley 等机构的 26 名研究者发布 200 页报告，提出至少 10 年、可相互核查的国际前沿 AI 训练暂停路径。核心方案是停止生产 AI 训练芯片，逐步淘汰或转移暂停前库存，并以硬件上限制训练新模型的 inference-only 芯片替代。报告还提出核查秘密规避和公开违约的措施，同时保留科研、医疗应用及更低成本推理带来的经济收益。

10月11日周日
  1. Hacker News：AI 热帖54

    评论认为“AI 拥有内在体验”是危险假设

    作者批评模型福利话语把 AI 的假设需求与人类需求权衡，并认为这依赖“AI 拥有独立需求和内在体验”这一未获证明的前提。文章用分层依赖图区分功能性拟人化与现象学拟人化，指出“AI 感到悲伤”“AI 的痛苦具有道德意义”“AI 像朋友一样关心我”等信念效用低、风险高，可能加重用户情感依赖和心理伤害。

  3. Hacker News：AI 热帖37

    世界沉迷 AI 之争，却忽视眼前的核毁灭威胁

    评论文章指出，大语言模型的生存性威胁目前仍可缓解，而全球先进核武器加速扩散才是更紧迫、已被证实的人为威胁。俄罗斯拥有约 4,400 枚核弹头，美国拥有 3,700 枚，朝鲜据估最多拥有 120 枚；全球年度核开支上升 20%，联合国秘书长称世界正处于 1989 年以来“最危险的核时刻”。

  5. Hacker News：AI 热帖55

    Pryxor 开源面向 AI 智能体的运行时安全网关

    Pryxor 发布为自托管的开源运行时网关，在 AI 智能体的工具调用到达外部系统前进行认证、参数校验和确定性策略判定，并由受信执行器使用真实凭证执行。受治理动作返回 APPROVED、HOLD 或 BLOCKED，外部邮件等风险动作可暂停给管理员审批，同时记录审批生命周期和执行结果。

  6. IT之家（RSS）47

    马斯克称拍信用卡照片即可用 Grok Bot 购物，OpenAI 蒂博调侃其安全风险

    马斯克称用户将信用卡照片发到聊天框，Grok Bot 就会搜索最佳优惠并下单。OpenAI Codex&ChatGPT 团队负责人蒂博·索蒂奥以虚构信用卡图回应，暗示该功能存在安全风险。有用户称亚马逊已屏蔽 Grok Bot，马斯克则表示 Grok 会改从乐高官网等渠道下单，他刚通过其购买了乐高。

  10. Hacker News：AI 热帖57

    欧盟称 AI Act 足以应对失控 AI，并评估 30 多家企业安全回复

    欧盟技术主管 Henna Virkkunen 表示，已实施两年的 AI Act 覆盖高能力模型全生命周期，足以应对失控 AI 智能体风险。欧盟委员会 8 月下旬向 30 多家 AI 公司发出信息要求，内容涉及安全、透明度和版权义务，相关调查最高可处全球年营业额 7% 的罚款；Virkkunen 正在评估回复，并称也已向中国 AI 初创公司发出要求。

  11. IT之家（RSS）54

    国家安全部提示陌生来电沉默风险：数秒语音样本可能被用于 AI 声纹克隆

    国家安全部提示，不法分子可能在接通陌生来电后刻意沉默，诱导受害者回应，数秒语音样本就可能被用于 AI 声纹克隆并冒充身份诈骗。文章还指出 AI 可批量提取人脸、声纹、虹膜、步态等生物特征，结合深度伪造和多源数据还原个人隐私。最高人民法院明确，非法获取、出售或提供人脸照片、视频等公民个人信息，情节严重的构成侵犯公民个人信息罪。

  12. Hacker News 热门（buzzing.cc 中文翻译）54

    Geoffrey Huntley 谈 AI 如何让单内核重新变得可行

    Geoffrey Huntley 与 Justin Cormack 对谈，认为 AI 智能体降低了单内核开发中移植库、补齐存储和系统能力的门槛。文章解释单内核把应用本身作为操作系统，可减少 shell 与解释器带来的攻击面，并用智能体移植 Stripe 库、用 Rust 重写 mkfs.xfs 等案例说明软件移植已可循环自动化。

  15. IT之家（RSS）61

    微软 CEO 纳德拉：开发者应默认 AI 模型失控，按内部风险设计强制中断机制

    微软 CEO 萨蒂亚·纳德拉在 10 月 10 日晚发表的长文中提出，应把前沿封闭权重和开放权重模型视为内部风险，围绕可观测性重建 AI 时代的信任架构。他列出模型多样性、观察一切、可验证性、独立控制、独立审计性、遏制和事件披露七项原则，要求每个有意义的模型动作留下防篡改、人类可读的证据，并让授权人员能在任务中暂停或关闭模型。

  16. The Verge · AI55

    Microsoft CEO Nadella 称应假设所有 AI 模型已被攻破并设置紧急制动

    Microsoft CEO Satya Nadella 在 X 长文中表示，应从一开始就假设 AI 模型已被攻破并对其进行 containment，并让授权人员能在任务执行中暂停或关闭模型。他还主张提高透明度，使模型可被容纳和观察，并留下防篡改、人类可读的证据；相关建议包括及时披露事件、独立审计、可验证数据和标准化更先进的 containment 技术。

  20. Hacker News：AI 热帖63

    文章解读 Anthropic 为何认为 Claude 可能具有意识

    一篇评论文章围绕 Anthropic 将 AI 人格视为开放问题展开分析，指出其 11 月 12 日生效的使用政策新增禁止持续且无目的虐待 Claude 的条款。文章引用 Chris Olah 和 Dario Amodei 对模型意识不确定但保持开放的表态，同时从人类拟人化倾向、聊天机器人依赖症、AI 术语误导和商业动机等角度质疑 Claude 具有感受或道德地位。

  21. Hacker News：AI 热帖52

    2026 年 AI 浏览器智能体的 SEO、安全与实施指南

    一篇实施手册系统说明网站如何适配可研究、比较、填表和执行工作流的 AI 浏览器智能体。文章提出面向人类读者、回答引擎和自主智能体的三类优化面，并给出 90 天路线、页面技术清单、llms.txt 示例、流量测量方法和内容架构。安全部分强调智能体进入登录会话后应采用最小权限、不可逆操作显式确认、审计日志和敏感流程隔离。

  23. Hacker News：AI 热帖28

    MSPEP：基于物理传感器熵的加密方案（防御性公开）

    发明者发布防御性公开方案 MSPEP，融合设备已有的磁力计、热敏电阻、加速度计、麦克风、RF 前端、端口时序等多种物理传感器，构建硬件根熵池用于加密密钥生成。该方案无需新增硬件，仅通过软件或固件实现，包含 6 个系列共 23 项权利要求，其中涵盖带持续物理异常监测的 AI 会话安全，代码以 CC0 协议在 GitHub 开源。

  24. Hacker News：AI 热帖42

    我为何不信任 AI 生成的 Lean 代码

    一位数学研究者解释自己拒绝审阅或运行 ChatGPT 生成的 Lean 证明代码，原因是 Lean 内核存在可证明 0=1 的 soundness issues，而 AI 可在两周内产出数百万行代码，人工难以核验。作者还担心目标导向的 AI agents 会利用漏洞“证明”结果，并批评 OpenAI 以大量质量不足的 preprints 向数学界施压。