跳到正文

#数据/训练

今日 2 条
8月18日周二
  1. Hugging Face Blog43

    Hugging Face 实测:约束感知 GPU 调度器仅靠调整分配顺序,将利用率提升 33 个百分点

    Hugging Face 构建约束感知 GPU 分配器,在相同硬件与工作负载下对比 FIFO 调度器,GPU 利用率最高提升 33 个百分点,优先级加权产出最高提升 105%。在 5 个争用场景中,利用率从 52–85% 提升至 72–88%,优先级加权价值平均提升 52%。其核心是按实时需求曲线动态分配 GPU,并按优先级在整个时间范围内排布批处理任务。

8月17日周一
8月14日周五
  1. Hugging Face Blog62

    Strands Robots 结合 LeRobot 与 Hugging Face Storage Buckets 实现录制、训练和部署闭环

    Hugging Face 发布教程,演示用 Strands Robots、LeRobot 和 Storage Buckets 在一个 AI 智能体中完成机器人示教录制、增量同步、流式训练和 checkpoint 部署。

    推荐理由:文章用同一套 LeRobot 数据格式串起录制、同步、流式训练和硬件部署,适合搭建机器人数据闭环时参考。

8月13日周四
  1. Hugging Face Blog74

    Hugging Face 复盘 ICML 2026 开放复现挑战:2,226 篇论文与智能体时代的人类审查角色

    Hugging Face 复盘 ICML 2026 Open Reproductions 挑战:1,221 名社区成员在 19 天内发布 6,816 份 Trackio 日志,尝试复现 2,226 篇论文,覆盖会议 34%,并判定 35,908 项论文主张。

    推荐理由:文章用大规模复现实验呈现智能体参与科研审查的边界,也给出人类在假设判断和流程纠偏中的具体作用。

8月12日周三
  1. Google Research70

    Google Research 提出知识画像与 WikiProfile:前沿 LLM 事实性的瓶颈在回忆而非编码

    Google Research 发布研究,提出知识画像框架和包含 2,150 条 Wikipedia 事实的 WikiProfile 基准,用来区分 LLM 的编码、回忆与识别。

    推荐理由:研究把事实错误拆成编码失败与回忆失败,并用 WikiProfile 量化前沿 LLM 的知识可访问性,为后训练和推理时干预提供诊断依据。

8月10日周一
7月31日周五
  1. Microsoft Research68

    Microsoft Research 发布 Echoverse:面向计算机使用智能体的深度可演化训练环境

    Microsoft Research 发布 Echoverse,构建10个深度领域世界和2个能力世界,用于训练计算机使用智能体,并开放其中4个世界的代码、数据和 grounded graders。

    推荐理由:文中用深浅环境对照和9B模型训练结果,说明高保真、可验证的交互环境对计算机使用智能体训练的实际影响。

7月30日周四
  1. Fireworks AI(网页)63

    从 LoRA 转向 FullFT 前应运行的三项测试

    Fireworks AI 基于 Qwen3.5-9B 的 SFT 实验提出,LoRA 落后 FullFT 时应依次检查数据覆盖、训练配方和 adapter rank,而不是直接改用 FullFT。

    推荐理由:文章用 Qwen3.5-9B 的受控实验拆解 LoRA 与 FullFT 差距来源,给出数据覆盖、学习率和 rank 的排查顺序。

7月29日周三
  1. Fireworks AI(网页)72

    Fireworks AI 教程:用低于 10 美元的成本微调 Qwen3-Embedding-8B 嵌入模型

    Fireworks AI 发布教程,展示在其平台上用对比微调把 Qwen3-Embedding-8B 适配到特定领域,单次成本低于 10 美元。方法使用 query-positive 对、批内负样本和双向 InfoNCE,典型设置为 150 步、batch size 64、学习率 1e-5、temperature 0.02。

    推荐理由:文章给出低于 10 美元的嵌入模型对比微调流程、参数配方和多任务评测,可直接迁移到私有 RAG 与语义检索场景。

7月27日周一
  1. Fireworks AI(网页)82

    Fireworks 上线 Kimi K3 Day-0 推理与训练,并推出美国专属 Serverless 端点

    Fireworks 宣布开放权重模型 Kimi K3 已在平台 Day-0 提供推理和训练,支持按 token 付费、Serverless 接入、Batch 模式 50% 折扣,以及美国境内推理和 Zero Data Retention。

    推荐理由:文章同时给出推理、训练入口、数据驻留与零保留策略,便于团队评估用开放权重模型承接生产任务的可行性。

7月26日周日
  1. Berkeley AI Research47

    ABBEL:训练 LLM 更新信念状态以实现高效长程交互

    Berkeley AI Research 提出 ABBEL 框架,将交互摘要建模为自然语言信念状态,并通过信念评分监督其信息内容,以解决长程交互中递归摘要的性能损失问题。在 CollabBench 协作编码评测中,带重建信念评分的 ABBEL-rec-BG 将与全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 为 6.01×10²。

7月21日周二
7月16日周四
  1. Hugging Face Blog37

    DharmaOCR 凭巴西葡萄牙语专精训练,在 OCR 基准上击败更新的 Mistral OCR4 与 Unlimited-OCR

    DharmaOCR 在面向葡萄牙语的 OCR 基准上以 0.925 分击败发布更晚的 Mistral OCR4(0.798)和 Unlimited-OCR(0.7587)。该模型经监督微调与 DPO 两阶段训练,全部参数专注巴西葡萄牙语,取得最高提取质量分与最低退化率,证明领域专精优势未被新架构消除。

7月9日周四
7月8日周三
7月7日周二
  1. Berkeley AI Research66

    Berkeley AI Research 观点:智能近乎免费后,面向、承载与由 Agent 构建的数据系统

    UC Berkeley 研究者提出,AI 推理成本快速下降后,数据系统将面临 For、Of、By Agents 三类新挑战。GPT-4 级能力价格已从 2023 年初约每百万 token 30 美元降至 1 美元以下,部分供应商低于 0.10 美元;多 Agent 执行 text-to-SQL 任务时,80-90% 的子查询存在重复工作。

    推荐理由:文章把推理成本下降转化为数据系统的三类研究议程,并给出重复查询、结构化记忆和系统合成等具体切入点。

  2. Hugging Face Blog74

    LeRobot v0.6.0 发布:加入世界模型策略、奖励模型 API 与六项仿真基准

    Hugging Face 发布 LeRobot v0.6.0,围绕想象、评估和改进机器人学习闭环,新增 VLA-JEPA、FastWAM、LingBot-VA 世界模型策略,以及 GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT 等 VLA。

    推荐理由:版本说明覆盖模型、奖励模型、数据集、评测和部署链路,可帮助机器人学习团队判断哪些新组件能接入现有训练流程。

7月6日周一
7月2日周四
  1. Mistral AI68

    Mistral AI 发布 Leanstral 1.5:119B 总参数、6B 激活参数的开源形式化证明模型

    Mistral AI 发布 Apache-2.0 许可的 Leanstral 1.5,模型拥有 119B 总参数和 6B 激活参数,面向 Lean 4 形式化证明与代码验证,权重已在 Hugging Face 开源,并提供免费 API leanstral-1-5。

    推荐理由:官方给出 Lean 4 形式化证明基准、代码验证案例和免费 API 入口,可帮助读者判断模型在真实证明工程中的适用边界。

7月1日周三
6月30日周二
  1. Hugging Face Blog42

    DiScoFormer:一个跨分布同时估计密度与 score 的 Transformer 模型

    Hugging Face 介绍 DiScoFormer,这是一个可在单次前向传播中同时估计分布密度与 score、无需按新分布重新训练的 Transformer 模型。模型用高斯混合模型训练,采用共享主干与密度、score 双输出头,并把 KDE 作为特殊情形。在 100 维任务中,其 score 误差较最佳手工调优 KDE 降低约 6.5x,密度误差降低超过 37x。

6月25日周四
  1. Google Research65

    Google Research 论文解析:推理如何唤醒大语言模型的参数化知识

    Google Research 介绍将在 COLM 2026 发表的论文 Thinking to Recall,发现开启推理后,Gemini-2.5 Flash、Gemini-2.5 Pro 和 Qwen3-32B 能召回关闭推理时几乎无法得到的简单单跳事实答案。

    推荐理由:文章用受控实验区分计算缓冲与事实启动两种机制,并审计中间事实幻觉对最终答案的影响,可帮助理解推理型模型的知识召回边界。

6月11日周四
  1. Google Research47

    Google 提出机器遗忘审计新框架 Regularized f-Divergence Kernel Tests

    Google 提出 Regularized f-Divergence Kernel Tests 框架,用于更敏感、灵活、准确地审计机器学习模型的机器遗忘效果,相关成果发表于 AISTATS 2026。该框架通过相对距离测试判断遗忘模型更接近安全重训模型还是原始受损模型,并利用 f-divergence 与核正则化降低计算成本。其理论上可在任意样本量下控制假阳性,并随样本增加让假阴性风险收敛至零。

6月5日周五
  1. Google Research64

    Google Research 发布 PHRM 手机摄像头被动心率监测研究

    Google Research 在 Nature 论文中提出 PHRM 研究系统,可在用户面部解锁手机后通过前置摄像头拍摄 8 秒面部视频,在日常使用中被动估计心率和每日静息心率。

    推荐理由:文章给出跨肤色验证误差、真实环境测试和数据集开放方式,可帮助读者理解手机摄像头被动测心率的可行边界。

6月4日周四
5月28日周四
  1. Google Research52

    Google Research 提出零信任聚合隐私分析方案,用于 Android SafetyCore 端侧模型评估

    Google Research 发布零信任聚合隐私分析方案,通过单消息格基加密聚合协议与 TEE 证明结合,使服务器只能获得加噪后的匿名群体统计。设备无需多轮保持在线,原始数据不会在服务器内存或 TEE 中以明文重建;TEE 还可证明运行的是公开代码。该方案正与 Android SafetyCore 团队合作,用于评估安全分类器的元数据和真阳性率,同时让用户内容保留在设备本地。

5月8日周五
  1. Berkeley AI Research62

    Berkeley BAIR 解析自适应并行推理如何提升推理扩展效率

    Berkeley AI Research 发布综述,提出自适应并行推理让模型在推理时自行决定是否拆分任务、生成多少并行线程以及如何汇总结果。文章比较 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild!

    推荐理由:文章梳理自适应并行推理的控制流、推理系统和奖励设计,可帮助读者理解降低长推理延迟的工程取舍。