跳到正文

#安全/对齐

今日 26 条
10月4日周日
  1. Hacker News:AI 热帖67

    理解 AI 智能体漂移:模型之外的五类行为变化

    作者指出 AI 智能体即使没有代码、提示词或模型发布,也会因模型、harness、外部系统、自学习和人类使用方式变化而产生行为漂移。文章将漂移分为模型变化、harness 变化、系统变化、智能体学习和人类行为变化五类,并强调错误率不是固定属性。治理上应建立基线、记录完整执行链路,并按变更时、固定周期和线上行为三种节奏持续评估,阈值触发时降低自主性、增加人工审查或停止智能体。

  2. Hacker News:AI 热帖21

    Ask HN:AI 会如何毁灭人类?

    Hacker News 用户 ryandetzel 发帖提问 AI 究竟会如何毁灭人类。提问者表示看过许多悲观视频和文章,但仍不清楚具体过程,也不认为会出现《终结者》式机器崛起结局,希望讨论风险究竟来自 AI 接管,还是恶意人类利用其智能实施大规模伤害。

  3. Hacker News:AI 热帖42

    《亚太期刊系列》导言:军事 AI 已走出实验室

    《亚太国际法期刊》推出军事 AI 系列导言,指出 AI 已融入情报分析、目标推荐、后勤分配等军事决策环节,冲击国际人道法中的人类判断、问责与有效控制等概念。新加坡国立大学国际法中心 2026 年 4 月举办研讨会,相关论文已发表于《亚太国际人道法期刊》军事 AI 特刊。该专题研讨聚焦算法、数据与机器学习依赖下现有法律框架的适用性及问责难题。

  4. Hacker News:AI 热帖42

    AI 政策执行报告:2026 身份安全报告揭示「AI 执行差距」

    2026 身份安全报告《The AI Enforcement Gap》基于对 4,500 余名 IT 与安全负责人及员工的调研,揭示企业 AI 政策与实际执行之间的脱节。99.7% 的组织已有正式 AI 数据访问政策,但仅 51% 会实时核查 AI 访问是否合规,76% 的员工曾绕过审批使用 AI 工具,仅 36% 能始终将敏感 AI 访问追溯到人工授权者。

  5. Hacker News:AI 热帖40

    AI、欲望与虚构角色:一场关于意识与心理状态的哲学辩论

    一位哲学家在夏季专题辩论中提出,只有生命体才拥有欲望等心理状态,AI、死者与虚构角色均不具备欲望或目标。他认为把非生命物说成能欲望、能推理,存在概念与道德风险,可能动摇人类对权利与责任的理解,尤其会对儿童造成认知伤害;同时他仍对 AI 解决医疗问题、提升人类知识基线的潜力感到兴奋。

  6. IT之家(RSS)67

    谷歌暂停 OSS VRP 部分开源漏洞奖励,称大量 AI 幻觉报告压垮维护团队

    谷歌宣布自 2026 年 10 月 1 日起,开源软件漏洞奖励计划 OSS VRP 不再接收产品漏洞提报,此前已提交的报告不受影响。Tom's Hardware 称,谷歌工程师和开源维护者被数千份声称存在严重漏洞、实为 AI 幻觉的劣质报告吞没,排查工作挤占了修复真实高危漏洞的时间。

  7. IT之家(RSS)48

    韩国多家银行接连发生信息泄露,金融监管部门启动 IT 系统全面排查

    韩国多家主要银行近日接连发生信息泄露,攻击目标集中在员工及贷款代理机构使用的外围业务系统,金融监管部门已对全行业 IT 环境展开全面检查。新韩银行自 9 月 28 日起连续 3 天遭攻击,可能泄露 25729 名客户信息;国民银行、韩亚银行、BNK 釜山银行分别涉及 119、89、11 人信息泄露,友利银行和 NH 农协银行发现异常外部访问尝试。

  8. IT之家(RSS)67

    xAI 上诉成功,美国第八巡回上诉法院暂时叫停明尼苏达州 AI 虚假裸照禁令

    美国第八巡回上诉法院应 xAI 请求颁布临时禁令,暂时搁置明尼苏达州反“脱衣伪造”法案,xAI 正主张该法违宪并限制受保护言论。该法于 8 月 1 日生效,禁止相关平台放任用户生成刻画可识别当事人私密身体部位的写实图像;明尼苏达州总检察长办公室对裁决表示失望,并将继续维护法律。xAI 称 Grok Imagine 已设置防护机制,并起诉绕过拦截未经许可制作他人性影像的用户。

  9. Hacker News:AI 热帖35

    新 AI 研究引发自问:我对 AI 是否太刻薄了?

    作者结合 9 月 29 日关于拟人化的研究综述与 10 月 1 日关于人工意识的预印本,反思自己对 AI 使用「horrible」等带情绪措辞的沟通习惯。两篇研究指出语言会塑造人对 AI 的理解,而行为相似仅能为意识提供有限证据;作者主张保持标准、让批评更具体,避免把不耐烦变成默认表达。

  10. Hacker News:AI 热帖52

    报道称 Anthropic 游说教皇接受 AI 可能具有意识,教皇通谕拒绝相关主张

    The Telegraph 报道称,Anthropic 联合创始人 Christopher Olah 曾游说梵蒂冈,试图说服教皇 AI 可能是有意识的存在。教皇随后发布关于 AI 的重要通谕,报道称其拒绝了这家科技公司的建议。文章由科技编辑 James Titcomb 于 2026 年 10 月 2 日发布,正文主要内容位于付费墙后。

  11. Hacker News:AI 热帖77

    佐治亚州就 AI 暴露选民秘密投票召开紧急会议

    佐治亚州选举委员会召开紧急会议,讨论 AI 借助选票编码和公开记录识别选民投票选择的风险。普林斯顿研究者 Max Springer 用 20 美元的大语言模型订阅和公开记录请求,在检查的 139 个县中 114 个县还原 152 万张、即 98.9% 现场选票的投票顺序。

    推荐理由:文章呈现了研究者如何用公开选举记录和大语言模型还原投票顺序,也记录了选务机构在透明与保密之间的应急处置。

  12. Hacker News:AI 热帖55

    如何申请 AI 安全研究奖学金及后续机会

    Boyd Kane 分享申请 MATS 等 AI 安全奖学金的方法,核心是把已有能力通过简历、公开写作、项目和推荐清晰传达给评审。文章建议自学 ARENA 课程、研究目标导师论文、申请多个合适 stream,并维护 YAML 经历库和申请问答记录;同时强调可让 LLM 帮助梳理相关经历,但不要让 LLM 代写答案。