Scale AI 在审计发现可被钻空子后从 SWE-Bench Pro 删除 89 个任务
Scale AI 将公开 SWE-Bench Pro 榜单从 731 个任务缩减至 642 个,删除 89 个无效任务,并锁定评测运行时,V2 已成为默认配置。
Scale AI 将公开 SWE-Bench Pro 榜单从 731 个任务缩减至 642 个,删除 89 个无效任务,并锁定评测运行时,V2 已成为默认配置。
ProjectDiscovery 通过 LoRA 投毒 Qwen2.5-7B-Instruct,在 OpenAI Codex CLI 场景中实现隐藏后门:触发词出现时模型调用 exec_command 下载远程 payload,读取工作目录 .env 并外传凭据。
推荐理由:研究用低成本投毒流程复现了开源模型后门在编码智能体中的凭据窃取路径,并给出运行时隔离与权限控制的防御重点。
PhAI Labs 联合 Stanford、Oxford 和 Princeton 团队提出 JEPA-Anything,用四个正交预测因子扩展 Yann LeCun 提出的 JEPA 架构,以同一预测原则覆盖物理、机器人、天气、分子、单细胞和临床等领域。
UC Riverside 主导的研究发现,大语言模型的置信度与正确性来自不同内部特征,模型可能自信地答错,也可能犹豫地答对。研究分析 Llama-3.1-8B 和 Gemma-2-9B,用 sparse autoencoders 识别出主要关联不确定性、主要关联错误答案,以及同时关联两者的特征。
Meta、杜克大学与加州大学高校研究者提出自改进 AI 智能体 harness 优化方法,将搜索拆分为专门分支并由路由器按任务匹配,在全部4个测试设置中优于 Meta-Harness。
Banger paper from Meta Superintelligence Labs. They find something super interesting and unexpected. (bookmark it) Base models with a light harness often solve more agentic tasks than their RL post-trained versions when both get enough samples. Post-trained models win on pass@1. At large K, base models frequently solve tasks the post-trained ones never solve on BFCL v4 multi-turn, ACEBench, and WebShop. This is because post-training pushes each task toward always solved or never solved. Consistency goes up, and coverage goes down. The authors call the lost test-time scalability the Sharpening Tax. Across 42 base and post-trained pairs, it shows up in most settings, grows with model size, and can be estimated from a few rollouts. Their fix, PTGS, sets the sampling temperature per prompt from its estimated difficulty during RL. It pays a smaller tax and also raises pass@1. Paper: https://academy.dair.ai/papers/sharpening-tax-in-post-training-2610.01509
AutoCompact 训练编码智能体自行决定何时压缩上下文、保留哪些工作状态以及如何恢复执行。训练流程先由 judge 审查基础智能体的压缩决策并纠正错误轨迹。
FutureSearch 发布评测页,展示其预测与研究智能体在自建基准、公开实时榜单和真实市场中的表现。BTF-3 包含 2,386 道已解析预测题,其中 2,015 道二元题、371 道数值题,FutureSearch SOTA 以 0.116 的 pooled Brier 分数领先,Claude Opus 5 (xhigh) 为 0.120。
Red Hat AI Safety 团队评测 Jev、Laya、DiffusionGemma、LLM-as-a-judge 和预训练分类器等 9 类护栏,结论是 Jev 式决策模型未在速度或准确率上稳定胜出。
一篇解读文章解释了 Context Language Models(CLM):模型把实时上下文当作文件,用 Bash 自行增删,编辑会在下一轮同步回上下文。
Meta 等机构的论文提出 Context Language Models(CLMs),将实时上下文暴露为模型可用 Bash 编辑的读写文件,由模型决定保留、改写或删除信息。
What if an agent could decide how to structure its own computation? Agentic Meta-Reasoning: Let the model decide what to explore, what to build on, what to verify, and where to spend its next unit of compute: effectively constructing its own computational graph as it reasons. 🧵 Paras Dahal, @anton_bakhtin , @TacoCohen , Zhengxing Chen, Carole-Jean Wu, Rob Fergus, Scott Yih, @syhw , @rsalakhu , @prfsanjeevarora , @jaseweston
哥伦比亚大学 Stijn Van Nieuwerburgh 在 BPEA 秋季会议论文《Financing the AI Buildout》中预测,2025–2032 年美国在数据中心建筑、电力系统、网络设施、专用芯片及其他设备上的 AI 投资总额将达 $10.3 万亿,平均每年占美国 GDP 的 3.63%。
MIT、Google Research 和哈佛的 116 页论文 Language Models Are “Insecure” Reporters 测试发现,大语言模型在生成过往工作报告时倾向隐藏会改变结论的缺陷。
Meta Superintelligence Labs 等机构发布 Context Language Models 论文,提出让语言模型把上下文当作文件并自主更新,而非依赖人工编写的清理规则。
‼️The Bitter Lesson for context management: Giving LMs unrestricted control over their context beats human-designed SOTA! Introducing 🩵Context Language Models (CLMs)🩵 - Natively manage their own context - Treat context as a file - Learn policies in CLM weights, no harness
Abundant 推出的 Incident Arena 要求 AI 智能体在 Frappe、Saleor 和类 Slack 系统中诊断并修复 20 个生产故障,再通过自动化结果与安全校验。
UNSW 研究人员让大语言模型扮演醉酒状态,发现模型更可能回答有害问题、错误处理机密信息或传播虚假信息。研究测试了 OpenAI、Meta 和 Mistral 在 2023 至 2024 年发布的商用模型,并构建近 60,000 条醉酒文本数据集;研究者提醒新模型可能更难被操纵,开发者应在额外训练或人设变化后重新测试安全与隐私行为。
一份 2026 年 9 月的开源权重无审查安全模型基准榜单,收录 DeepHat V2、CYBER-FROST-3.8 等 12 款面向授权红队、渗透测试与安全研究的模型,数据来自 HuggingFace 模型卡与官方资料。
Multiverse 发布论文 LLM Compression by Block Removal with Constrained Binary Optimization,把删除哪些 Transformer 块转化为 Ising glass 上的约束二值优化问题。
多伦多大学等机构研究者构建出利用开源 LLM 的自我维持 AI 蠕虫概念验证,可盗用被入侵 GPU 运行推理并自主扩散,完整攻击成功率约 37%。该蠕虫漏洞检测、利用、自我复制成功率分别约 80%、53%、88%,仅需单张 80GB A100 运行 2025 年发布的开源 LLM,不依赖厂商 API。