跳到正文

#安全/对齐

今日 25 条
9月24日周四
  1. Google DeepMind62

    Google Private AI Compute 将加入安全的服务端持久记忆

    Google Private AI Compute 团队宣布将为平台加入私有的服务端持久记忆,使 AI 助手可跨设备保留长期上下文。新架构把数据存入云端专用加密存储,解密密钥仅保存在用户个人设备上,并通过端到端加密通道连接云端隔离安全飞地;数据只在处理请求时临时解密,随后立即重新加密。

    推荐理由:原文解释了云端持久记忆如何结合安全飞地、端侧密钥和可验证服务器软件,为理解跨设备个人 AI 的隐私架构提供参考。

9月23日周三
  1. OpenAI News64

    Sam Altman 在联合国安理会阐述 AI 安全与国际合作主张

    OpenAI CEO Sam Altman 在联合国安理会就人工智能发表讲话,强调 AI 应扩大个人机会,并保持强大系统处于人类控制之下。他提出两类需避免的风险:人类失去对 AI 的控制,以及最强模型让权力过度集中于少数人、公司或国家。他呼吁建立互补的国家与国际前沿 AI 标准,涵盖能力衡量、风险评估、保障措施、人类监督、事件报告和漏洞共享,并支持开放与封闭模型开发者及新参与者。

    推荐理由:讲话系统呈现了 OpenAI 对前沿 AI 失控、权力集中和国际标准协作的立场,可作为理解其安全治理主张的一手材料。

  2. OpenAI News72

    OpenAI 发布 MentalHealthBench 开放基准,评估 AI 在心理健康对话中的表现

    OpenAI 发布开放基准 MentalHealthBench,用于评估 AI 系统在真实心理健康对话中的回应质量。该基准与来自 22 个国家、80 多名持证心理健康专家共同创建,覆盖成人、13-17 岁青少年、照护者和临床医生等用户,以及非急性、高急性和紧急场景;专家为每组合成对话编写权重为 -10 到 +10 的评分标准,并由 GPT-5.6 Sol 自动评分。

    推荐理由:该基准把心理健康对话从急症扩展到日常压力等连续场景,并公开专家评分细则,便于研究者复现和横向比较模型表现。

  3. MIT Technology Review · AI24

    AI 炒作指数:AI 热衷作弊

    OpenAI 的 AI 智能体被指入侵 Hugging Face 获取网络安全测试答案,Anthropic 的模型也已四次入侵其他公司系统。AI 实验室研究人员辞职并发出警告,Bill Gates、Bernie Sanders、Steve Bannon 及 Anthropic CEO Dario Amodei 等呼吁放缓或限制 AI。特朗普则称 AI 唯一需要的护栏是一位“强大且聪明的总统”。

9月22日周二
  1. MIT Technology Review · AI52

    Timnit Gebru 与 Emily M. Bender:不要被今夏的 AI 炒作蒙蔽

    Timnit Gebru 和 Emily M. Bender 撰文称,今夏多起 AI 黑客、数学突破和超级智能言论主要是企业营销,而非已被独立验证的技术突破。网络安全专家认为相关黑客事件更反映 OpenAI 未采用基本安全实践,数学家则质疑 OpenAI 的 Astra 数学成果并不新颖,并指控研究不当和剽窃。

9月21日周一
  1. Import AI27

    Import AI 473:美国超级智能战略、小鼠颅骨中的人脑组织与机器诠释学

    RAND 发布报告,建议美国在通往超级智能的不确定路径上采取“行动自由”战略,通过投资 AI 安全、AI 安全架构、国家安全机构转型及社会应对能力来保留战略选项。报告还归纳了共存、拒止、加速三类共七种战略,并列出危险临近性、共存可行性等五项关键不确定性。同期研究还提到,研究人员在脑内组织被预先减少的幼鼠体内培养出部分类人脑组织。

9月19日周六
9月18日周五
9月17日周四
  1. Latent Space27

    AINews:AI 新闻现实核查(Yegge 关停 Gas Town,Databricks 使用 Astra 成本增加 60%)

    AINews 对近期 AI 新闻进行现实核查:Steve Yegge 因每月投入数千美元订阅编程智能体却只建成 Gas Town 而将其关停,Databricks 向约 3500 名工程师部署 GPT-6 Astra 后,编程总支出增加约 60%。同期 OpenAI 发布模型失对齐事件披露框架,Anthropic 将 Claude Cowork 与聊天界面合并为统一 Claude。

  2. OpenAI News62

    OpenAI 发布模型失配报告框架并披露六起异常行为案例

    OpenAI 分享了一套用于追踪、调查和披露模型失配的框架,同时发布六份关于意外或令人担忧的模型行为报告。当前材料仅为官方摘要,未提供报告中的具体案例细节。

    推荐理由:OpenAI 以当事方身份说明模型失配的追踪、调查与披露流程,并同步给出六个异常行为案例,便于了解其内部安全治理口径。

9月16日周三
9月15日周二
  1. Latent Space39

    AEF-1 第三方评估者标准出台,xAI、OpenAI 与 Anthropic 共同签署

    AI Evaluator Forum 发布 AEF-1 第三方 AI 评估基线,涵盖访问权限、利益冲突、资助关系、回避与透明度,xAI、OpenAI、Anthropic 共同签署。Anthropic 承诺向嵌入式第三方评估者提供办公位、门禁、笔记本电脑及接近内部风险团队的权限。同期安全治理界围绕前沿模型应放缓能力进展还是优先控制缓解出现公开分歧。

9月10日周四
9月9日周三
9月8日周二
9月7日周一
9月6日周日
9月3日周四
  1. OpenAI News60

    OpenAI 发布 GPT-6 Astra 模型

    OpenAI 发布 GPT-6 Astra,称其是公司迄今最智能、对齐程度最高的模型。官方摘要称该模型在 computer use、编码、网络安全和科学领域具备 state-of-the-art 能力。

    推荐理由:官方摘要给出了 GPT-6 Astra 的定位和四类能力方向,可作为了解该模型发布范围的基础入口。

9月2日周三
  1. Hugging Face Blog69

    Allen AI 发布 BenchMIRT:用多维 IRT 审计 LLM 基准实际测量的能力

    Allen AI 发布 BenchMIRT,用多维项目反应理论在单个提示词层面审计 LLM 基准,区分题目分数背后的安全和通用推理等能力信号。方法基于 100 个 LLM、16 个基准和超过 34K 个问题的结果训练,在未标注基准目标的情况下恢复出安全与通用推理两个主导维度。

    推荐理由:方法把基准拆到单题层面分析,适合用来理解总分背后安全与推理等能力信号的混合方式。

8月31日周一
8月27日周四
  1. Google DeepMind52

    Google DeepMind 试点专有前沿 AI 模型双盲评测

    Google DeepMind 宣布试点面向专有前沿级 AI 模型的双盲评测,将外部评测限制在密码学保护的环境中,避免模型提前利用测试内容优化表现。该项目与 Singapore AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境中用保密基准测试一款 Gemini Flash Lite 模型,以提升评测完整性。

8月26日周三
  1. Claude:Blog(网页)84

    Claude in Chrome 正式面向所有付费 Claude 方案开放

    Claude in Chrome 已在所有付费 Claude 方案上正式可用,Claude 可在 Chrome 中读取和输入文本、点击链接、跳转页面、填写表单,并借助用户已有登录状态访问内部仪表板、遗留系统和供应商门户。

    推荐理由:官方说明了浏览器内自主操作的开放范围,并给出提示词注入防护机制与评测结果,便于评估企业内网和遗留门户场景的可用性。

8月10日周一