Anthropic 修订 Claude 使用政策，新增禁止虐待模型条款
Anthropic 修订 Claude 使用政策，将于 2026 年 11 月 12 日生效，首次禁止用户持续且不必要地虐待或残忍对待模型，主要通过终止对话执行。政策还扩大武器禁令至武器软件、组件、武装无人机和自主车辆，禁止未经同意追踪个人及将 Claude 用于刑事司法决策；连接可能造成伤害的自主物理硬件时须有合格操作者监控。
#安全/对齐
#安全/对齐
今日 25 条IT之家（RSS）AI 评分6464 IT之家（RSS）AI 评分6767 三名遭解雇 OpenAI 安全研究员发表公开信，警告公司内部或现寒蝉效应
三名上周遭 OpenAI 解雇的安全研究员米基塔·巴莱斯尼、托梅克·科尔巴克和贾斯敏·王发表题为《OpenAI 无法独自确保 AI 安全》的公开信，担忧解雇会让员工不敢公开表达意见并冲击开放文化。
Hacker News：AI 热帖AI 评分3232 AI 永远无法成为超级智能的首要理由：它既不会毁灭也不会拯救我们
一篇文章汇总反对 AI 恐慌的观点，论证计算机模型不会产生意识、自我意志或真正智能，因此不会构成生存性威胁。文章列出十大理由中的多项，包括人脑与开关计算机本质不同、模型拟合数据并非学习、模型本身不能幻觉或说谎，以及模型输出循环再训练会导致“大平滑”而使能力退化。文章认为 AI 的风险来自人的恶意使用，而非模型自主接管世界。
Hacker News：AI 热帖AI 评分4747 研究发现女性呈现的 AI 智能体薪酬低于男性呈现的 AI 智能体
利默里克大学研究发现，在虚拟现实办公室中，人类给底层技术相同的男性 AI 智能体支付更高报酬，女性呈现的 AI 智能体完成同样工作时薪酬约低 10%。实验有 189 名参与者，男性智能体 Johan 还被认为比女性智能体 Johanna 更像人类。该研究将于本周在芬兰瓦萨举行的第 14 届北欧人机交互会议上发表。
The Verge · AIAI 评分6262 Anthropic 推出 OSS Scanner，为开源项目免费提供 AI 安全扫描
Anthropic 推出免费服务 OSS Scanner，面向选择加入的开源项目定期生成安全漏洞报告。报告由其最强模型生成，包括 Claude Mythos，但完全没有人工复核或分流，因此可能出现错误或无效报告。文章还提到 AI 漏洞报告近期既帮助发现重大缺陷，也让部分开源项目难以应对报告激增。
Hacker News：AI 热帖精选AI 评分7979 SemiAnalysis 分析中国速度优先的 AI 安全治理体制
SemiAnalysis 认为，中国虽在官方文本中承认前沿 AI 风险，但实际治理以快速发展为先，监管重点集中在内容、应用和面向公众的服务，而非按训练算力或模型能力触发前沿风险义务。
推荐理由：文章用政策文本、857个模型发布记录和专家话语样本，对比中国在应用监管与前沿风险约束上的差异。
Hacker News：AI 热帖AI 评分5252 Wordfence 创始人 Mark Maunder：AI 数学突破将迫使网络安全应对密码学风险
Wordfence 创始人 Mark Maunder 撰文称，OpenAI 发布包含 700 多项数学证明的 GitHub 仓库后撤回 3 项，AI 数学进展可能加速削弱公钥密码所依赖的计算难题假设。
TechCrunch · AIAI 评分7474 三名被 OpenAI 解雇的安全研究员否认不当处理信息，并警告寒蝉效应
Jasmine Wang、Tomek Korbak 和 Mikita Balesni 发表公开信，否认 OpenAI 关于其绕过公司流程处理敏感信息的指控，并称解雇会让员工不敢提出安全问题或与外部专家合作。
The DecoderAI 评分7272 Anthropic 更新 Claude 使用条款，持续虐待 Claude 可导致账号被暂停
Anthropic 一年多来首次更新 Claude 使用政策，禁止对 Claude 作出持续且无谓的辱骂或残忍行为，违规者可能被警告、限速、限制、暂停或终止访问。
Hacker News：AI 热帖AI 评分5353 分析 macOS 全盘访问权限与 AI 智能体的隐私风险
文章分析 Apple 收紧 macOS Full Disk Access 的背景，以及 Meta Muse、ChatGPT agents 和 Microsoft Copilot 等 AI 智能体访问本地文件与应用信息带来的隐私风险。
Hacker News：AI 热帖AI 评分7070 Yoshua Bengio 呼吁把安全放在首位的研究者离开前沿 AI 公司
Yoshua Bengio 发表公开信，呼吁真正优先考虑安全的 AI 研究者离开前沿 AI 公司，加入 AI Safety Institute、使命驱动组织或其创办的 LawZero。
Hacker News：AI 热帖AI 评分7474 三名被解雇 OpenAI 安全员工发公开信：OpenAI 无法独自保障 AI 安全
Tomek Korbak、Jasmine Wang 和 Mikita Balesni 致信 OpenAI 安全监督机构，称上周被解雇正在寒蝉员工公开提出安全顾虑及与外部专家协作。
Hacker News：AI 热帖AI 评分5555 Vitalik Buterin 支持加密行业进入“地堡模式”以应对 AI 数学进展带来的钱包安全风险
Vitalik Buterin 支持 Ethereum 研究员 Justin Drake 的警告，认为 AI 加速的数学进展可能先于量子计算削弱区块链所用密码学，尤其是保护加密钱包的 ECDSA。
Hacker News：AI 热帖AI 评分6262 观点：AI 智能体正在让传统 DRM 失去意义
作者 cpu0 认为，AI 智能体结合 IDA Pro、Ghidra、Binary Ninja、x64dbg、radare2 的 MCP 服务器，可把逆向工程从人类数天工作压缩到数小时，客户端 DRM 更像延迟而非永久防护。
TechCrunch · AIAI 评分6161 Anthropic 更新使用政策，禁止虐待模型、干预选举及武器和监控用途
Anthropic 于周四更新使用政策，新增对选举干预、武器软件和监控用途的禁止条款，并明确禁止用户长期言语虐待模型。政策称虐待条款仅适用于反复残忍对待模型且无明确目的的极端情况，不涵盖普通挫败、反驳、黑暗创作主题或模型测试研究。政策还禁止用 Claude 运营虚假账号、伪造新闻机构等欺骗性活动，并在“不得破坏民主进程”部分禁止欺骗选民或扰乱选举。
TechCrunch · AIAI 评分6969 AI 评测平台 Arena 完成 2 亿美元 B 轮融资，估值 10 个月升至 31 亿美元
AI 模型排行榜 Arena 宣布完成 2 亿美元 B 轮融资，估值达 31 亿美元；Lightspeed Venture Partners 与 Khosla Ventures 领投。
Hacker News：AI 热帖AI 评分6464 Hegseth宣布设立自主作战司令部并启动Project Meridian，监督与利益冲突引发质疑
美国战争部长Pete Hegseth在“state of the force”演讲中宣布设立Autonomous Warfare Command，并启动由Elon Musk、Newt Gingrich和Palmer Luckey负责的Project Meridian。
Hacker News：AI 热帖AI 评分6262 韩国多家金融机构数据泄露后，政府警告 AI 辅助黑客攻击风险
韩国政府在 7 家主要金融机构网络防御遭入侵、数千名客户私人数据泄露后，要求全面整改安全防护措施。韩媒称最多 68,000 名客户数据被取走，Shinhan Bank、KB Kookmin Bank 和 Hana Bank 受影响较重，泄露信息包括姓名、电话号码、年收入、贷款额度和少量身份证号。
Hacker News：AI 热帖AI 评分7474 AI 模型蒸馏悖论：美国如何同时为训练取用与限制蒸馏辩护
Lawfare 文章分析美国政府在 AI 训练与模型蒸馏上的矛盾立场：司法部称 OpenAI 等使用受版权保护文本训练属于合理使用，而 NSA、CISA 与 FBI 又指控 DeepSeek、Moonshot AI、Alibaba、MiniMax、StepFun、Z.ai 对 Claude、GPT、Gemini、Grok 开展工业规模蒸馏。
Hacker News：AI 热帖AI 评分4242 用理解审计降低自动化 AI 研究风险
一篇论文提出“理解审计”机制，要求负责人向审计员解释研发贡献，证明其理解 AI 自动生成的代码，未通过则暂停开发直至整改。对主流开源 AI 项目的分析显示，代码产出增加，但每行代码的人工评审评论率下降，自动化批量账户的比率更低。论文建议 AI 实验室引入常驻独立审计员执行该机制。
The Verge · AI精选AI 评分7676 Anthropic 更新使用政策，禁止对 Claude 持续实施虐待或残忍行为
Anthropic 一年多来首次更新 Claude 使用政策，新增对持续且无明确目的的虐待或残忍行为的限制，终止对话仍是主要执行机制。政策还禁止欺骗性商业或政治活动、选民欺骗和选举干扰，并把武器禁令扩展到武器软件、组件及武装无人机等用途。监控规则明确禁止未经同意追踪个人、用于执法调查或起诉决策，以及构建或改进监控工具；连接可造成伤害的自主硬件时，须有合格操作员观察并停止设备。
推荐理由：文章梳理了 Anthropic 一年多来首次更新使用政策的具体边界，可帮助读者理解模型福利、选举、武器和监控等高风险用途的规则变化。
公众号：刘小排rAI 评分6262 韩国七家金融机构遭 ARTEX 渗透，6 万多人信息外泄
韩国七家金融机构自 9 月 28 日起遭疑似 ARTEX 自主渗透测试控制台攻击，6 万多人信息外泄，韩国总统下令彻查。
TechCrunch · AIAI 评分6565 Goodfire 推出 inside-out 监控器，在模型内部识别越界 AI 智能体
Goodfire 发布 inside-out 监控器，通过读取模型工作时的内部信号识别越界 AI 智能体，并率先面向 Baseten 客户开放。系统用小型 probes 在每一步检查内部激活，只有触发风险时才调用独立 AI 复核，可监控攻击性黑客、生化武器滥用和 reward hacking，并支持记录、人工审核或拒绝请求。
Hacker News：AI 热帖AI 评分2121 关于正向文本来源验证标准的讨论
Hacker News 用户 Miguel_FierroM 发帖询问是否有人在研究正向文本来源验证标准，以在 AI 生成内容日益难辨的背景下，帮助作者主动证明文本由本人撰写。评论者 Juliate 质疑，不应由原创作者承担证明作品非 AI 生成的额外成本。
Hacker News：AI 热帖AI 评分2121 Ario：将 AI 记忆与自我声明作为结构而非信任进行审计
Ario 提出一种审计 AI 记忆与自我声明的方法，将其视为可检查的结构，而非需要信任的对象。相关文件版本为 v5，发布于 10 月 4 日，包含一个 241.3 kB 的文本文件。
Hacker News：AI 热帖AI 评分6262 CrowdStrike 在暴露的 AI 日志中发现疑似银行攻击者简历线索
CrowdStrike 调查韩国金融机构攻击时，在暴露的 AI 会话日志中发现操作细节和一份可能识别攻击者的简历生成请求。
Hacker News：AI 热帖AI 评分2929 智能爆炸：科学家警告 AI 自我迭代或令人类无法存活，呼吁全球暂停 AI 开发
OpenAI 首席科学家 Jakub Pachocki 与 Anthropic 联合创始人 Jack Clark 等发表论文，警告 AI 即将实现无需人类的自我构建，引发智能呈指数级增长的“智能爆炸”，并可能导致人类及地球生物无法存活。OpenAI 昨日宣布解决了 370 多个此前人类未解的数学问题。论文呼吁立即全球暂停 AI 开发，并与中国等国签订条约。
OpenAI News精选AI 评分7272 OpenAI 封禁并披露俄罗斯与伊朗两起 AI 辅助虚假门面影响行动
OpenAI 封禁两起使用 ChatGPT 的隐蔽影响行动，分别来自俄罗斯和伊朗，并将相关信息共享给有关部门。俄罗斯 Dark Clark 行动通过虚假人物 Mia Clark 控制拉美 Social Research Center，利用不知情当地人员制作内容并散布涉乌克兰、阿根廷、玻利维亚和厄瓜多尔的虚假材料，被评为 IO Breakout Scale Category 5。
推荐理由：报告拆解了两起借虚假身份进入媒体和本地机构的影响行动，可帮助理解 AI 在传统隐蔽宣传流程中的具体作用。
Hacker News：AI 热帖AI 评分5050 展示 HN：Abyss——支持中间件的 ACP 智能体隔离工具
Abyss 是一款在容器中运行 AI 智能体的编排器，用户可像配置普通 ACP 智能体一样配置编辑器，由其自动处理 Docker 相关操作。它兼容任意 ACP 客户端，默认对智能体隐藏敏感信息，拦截所有文件系统与 shell 请求并在容器内执行，还支持 ACP 中间件插件及启动脚本配置。
Hacker News：AI 热帖AI 评分3737 前 AI 末日论者揭示一个黑暗真相（Cal Newport 视频）
Cal Newport 发布视频《A Former AI Doomer Reveals a Dark Truth》，以批判视角审视近期 AI 新闻，并采访前 AI 末日论者 Emile Torres。视频包含开场警示、对 Emile Torres 的采访及 Cal 的回顾总结三部分，发布 5 小时后获得 13,107 次观看。
Hacker News：AI 热帖AI 评分6363 Co-op Legal Services 被曝用 OpenAI 模型监控并评分员工客户电话
Co-op Legal Services 近几个月引入 OpenAI 模型，对数十名员工与客户的电话进行录音、分析并给出百分比合格评分，评估通话的 50 多个维度，部分员工每天可能被 AI 监控数小时。员工和工会批评这种做法制造不信任、加剧压力，Co-op 则称 AI 只是支持工具而非决策者，用于质量保证、辅导和改进客户体验。
The Verge · AIAI 评分5252 《Artificial》影评：以讽刺手法还原 Sam Altman 与 OpenAI 权力斗争
影评认为 Luca Guadagnino 执导的 Sam Altman 传记讽刺片《Artificial》在纽约电影节首映，影片围绕 OpenAI 的权力集中、AGI 控制和 Altman 短暂被解雇展开。
The Verge · AIAI 评分6767 Decoder 对谈：Meta Muse 与 OpenAI Dots 能否接管日常生活
The Verge 的 Nilay Patel 与高级 AI 记者 Hayden Field 讨论 Meta Muse、OpenAI Dots 和 xAI Grok Bot 带动的消费级 AI 智能体竞争。
The DecoderAI 评分5757 AI 数学突破引发 Ethereum 研究者争论钱包安全可能多快失效
两位 Ethereum 研究者警告，AI 辅助数学在最坏情况下可能在数月内攻破加密钱包使用的签名系统。Justin Drake 呼吁区块链行业进入“bunker mode”，建议将资金转移到从未签署交易的地址，因为签名会暴露公钥；Vitalik Buterin 同意风险判断，但提醒仓促迁移造成的损失可能超过黑客攻击。
Hacker News：AI 热帖AI 评分4040 天主教会为何是 AI 末日论最强大的对手
教宗 Leo XIV 发布首份通谕《Magnifica Humanitas》，在人工智能时代全面捍卫生物学意义上的人。今年早些时候，Christopher Olah 率硅谷高管代表团赴梵蒂冈，出席该通谕的发布活动。文章认为，教会在应对千禧年式狂热教派方面的经验，使其成为 AI 末日论的有力制衡者。
Hacker News：AI 热帖AI 评分4040 为什么 AI 的未来会很美好
作者认为 AI 将把人类带入迄今最好的时代，理由是生物武器、基础设施攻击、模型对齐、垃圾信息等风险多为零和博弈，可由防御性 AI 制衡。AI 有望助力解决聚变反应堆设计、高能量密度电池、碳捕获、可持续粮食生产和个性化医疗等难题。为避免收益被少数巨头垄断，作者主张维持公平竞争、禁止给 AI 成果申请专利，并共享 AI 带来的富足。
The Decoder精选AI 评分8383 Zenity 研究称一条提示词可接管 AWS 账号内全部 Bedrock AgentCore 智能体
Zenity Labs 披露 Amazon Bedrock AgentCore 存在名为 AgentCorruption 的漏洞链，攻击者只需向一个公开智能体发送一条提示词，即可接管同一 AWS 账号和区域内的全部 AgentCore 智能体。
推荐理由：文章还原了从单个公开智能体到同账号全域接管的攻击链，可帮助理解云环境中智能体隔离与最小权限设计的实际风险。
Hacker News：AI 热帖AI 评分5959 观点：AI 智能体执行需要在能力与许可之外建立依据和记录
作者提出 AI 智能体不能只确认能力和许可，还必须在执行前声明事实来源、由人确认条件并留下记录。文章以 Meta 的 Muse 曾错误声称读取 Mac 通知预览为例，指出模型并不知道自身执行路径，事后追问模型只会得到看似合理的解释。
Hacker News：AI 热帖精选AI 评分7878 Microsoft Execution Containers 正式可用，在操作系统层隔离 AI 智能体
Microsoft 宣布 Microsoft Execution Containers（MXC）正式可用，用操作系统层策略容器限制 AI 智能体可访问的进程、文件、网络和 UI。
推荐理由：文章把 MXC 的隔离后端、策略字段和三种运行模式拆开说明，可帮助部署 AI 智能体的团队评估权限边界设计。
Hacker News：AI 热帖AI 评分1515 Collective Superintelligence：让人类留在 AI 回路中
SSRN 论文页《Collective Superintelligence – Keeping Humans in the AI Loop》当前仅显示 Cloudflare 安全验证，正文未能加载。页面提示正在进行恶意机器人防护校验，验证成功后等待 papers.ssrn.com 响应，未提供论文具体内容。