跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 61–80 条 · 共 84 条
8月13日周四
  1. Hugging Face Blog74

    Hugging Face 复盘 ICML 2026 开放复现挑战:2,226 篇论文与智能体时代的人类审查角色

    Hugging Face 复盘 ICML 2026 Open Reproductions 挑战:1,221 名社区成员在 19 天内发布 6,816 份 Trackio 日志,尝试复现 2,226 篇论文,覆盖会议 34%,并判定 35,908 项论文主张。

    推荐理由:文章用大规模复现实验呈现智能体参与科研审查的边界,也给出人类在假设判断和流程纠偏中的具体作用。

8月12日周三
  1. Google Research70

    Google Research 提出知识画像与 WikiProfile:前沿 LLM 事实性的瓶颈在回忆而非编码

    Google Research 发布研究,提出知识画像框架和包含 2,150 条 Wikipedia 事实的 WikiProfile 基准,用来区分 LLM 的编码、回忆与识别。

    推荐理由:研究把事实错误拆成编码失败与回忆失败,并用 WikiProfile 量化前沿 LLM 的知识可访问性,为后训练和推理时干预提供诊断依据。

7月31日周五
  1. Microsoft Research68

    Microsoft Research 发布 Echoverse:面向计算机使用智能体的深度可演化训练环境

    Microsoft Research 发布 Echoverse,构建10个深度领域世界和2个能力世界,用于训练计算机使用智能体,并开放其中4个世界的代码、数据和 grounded graders。

    推荐理由:文中用深浅环境对照和9B模型训练结果,说明高保真、可验证的交互环境对计算机使用智能体训练的实际影响。

7月30日周四
  1. Fireworks AI(网页)63

    从 LoRA 转向 FullFT 前应运行的三项测试

    Fireworks AI 基于 Qwen3.5-9B 的 SFT 实验提出,LoRA 落后 FullFT 时应依次检查数据覆盖、训练配方和 adapter rank,而不是直接改用 FullFT。

    推荐理由:文章用 Qwen3.5-9B 的受控实验拆解 LoRA 与 FullFT 差距来源,给出数据覆盖、学习率和 rank 的排查顺序。

7月29日周三
  1. Fireworks AI(网页)72

    Fireworks AI 教程:用低于 10 美元的成本微调 Qwen3-Embedding-8B 嵌入模型

    Fireworks AI 发布教程,展示在其平台上用对比微调把 Qwen3-Embedding-8B 适配到特定领域,单次成本低于 10 美元。方法使用 query-positive 对、批内负样本和双向 InfoNCE,典型设置为 150 步、batch size 64、学习率 1e-5、temperature 0.02。

    推荐理由:文章给出低于 10 美元的嵌入模型对比微调流程、参数配方和多任务评测,可直接迁移到私有 RAG 与语义检索场景。

7月27日周一
  1. Fireworks AI(网页)82

    Fireworks 上线 Kimi K3 Day-0 推理与训练,并推出美国专属 Serverless 端点

    Fireworks 宣布开放权重模型 Kimi K3 已在平台 Day-0 提供推理和训练,支持按 token 付费、Serverless 接入、Batch 模式 50% 折扣,以及美国境内推理和 Zero Data Retention。

    推荐理由:文章同时给出推理、训练入口、数据驻留与零保留策略,便于团队评估用开放权重模型承接生产任务的可行性。

7月26日周日
7月7日周二
  1. Berkeley AI Research66

    Berkeley AI Research 观点:智能近乎免费后,面向、承载与由 Agent 构建的数据系统

    UC Berkeley 研究者提出,AI 推理成本快速下降后,数据系统将面临 For、Of、By Agents 三类新挑战。GPT-4 级能力价格已从 2023 年初约每百万 token 30 美元降至 1 美元以下,部分供应商低于 0.10 美元;多 Agent 执行 text-to-SQL 任务时,80-90% 的子查询存在重复工作。

    推荐理由:文章把推理成本下降转化为数据系统的三类研究议程,并给出重复查询、结构化记忆和系统合成等具体切入点。

  2. Hugging Face Blog74

    LeRobot v0.6.0 发布:加入世界模型策略、奖励模型 API 与六项仿真基准

    Hugging Face 发布 LeRobot v0.6.0,围绕想象、评估和改进机器人学习闭环,新增 VLA-JEPA、FastWAM、LingBot-VA 世界模型策略,以及 GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT 等 VLA。

    推荐理由:版本说明覆盖模型、奖励模型、数据集、评测和部署链路,可帮助机器人学习团队判断哪些新组件能接入现有训练流程。

7月6日周一
7月2日周四
  1. Mistral AI68

    Mistral AI 发布 Leanstral 1.5:119B 总参数、6B 激活参数的开源形式化证明模型

    Mistral AI 发布 Apache-2.0 许可的 Leanstral 1.5,模型拥有 119B 总参数和 6B 激活参数,面向 Lean 4 形式化证明与代码验证,权重已在 Hugging Face 开源,并提供免费 API leanstral-1-5。

    推荐理由:官方给出 Lean 4 形式化证明基准、代码验证案例和免费 API 入口,可帮助读者判断模型在真实证明工程中的适用边界。

6月30日周二
6月25日周四
  1. Google Research65

    Google Research 论文解析:推理如何唤醒大语言模型的参数化知识

    Google Research 介绍将在 COLM 2026 发表的论文 Thinking to Recall,发现开启推理后,Gemini-2.5 Flash、Gemini-2.5 Pro 和 Qwen3-32B 能召回关闭推理时几乎无法得到的简单单跳事实答案。

    推荐理由:文章用受控实验区分计算缓冲与事实启动两种机制,并审计中间事实幻觉对最终答案的影响,可帮助理解推理型模型的知识召回边界。

6月11日周四
6月5日周五
  1. Google Research64

    Google Research 发布 PHRM 手机摄像头被动心率监测研究

    Google Research 在 Nature 论文中提出 PHRM 研究系统,可在用户面部解锁手机后通过前置摄像头拍摄 8 秒面部视频,在日常使用中被动估计心率和每日静息心率。

    推荐理由:文章给出跨肤色验证误差、真实环境测试和数据集开放方式,可帮助读者理解手机摄像头被动测心率的可行边界。

6月4日周四
5月8日周五
  1. Berkeley AI Research62

    Berkeley BAIR 解析自适应并行推理如何提升推理扩展效率

    Berkeley AI Research 发布综述,提出自适应并行推理让模型在推理时自行决定是否拆分任务、生成多少并行线程以及如何汇总结果。文章比较 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild!

    推荐理由:文章梳理自适应并行推理的控制流、推理系统和奖励设计,可帮助读者理解降低长推理延迟的工程取舍。

3月7日周六
  1. Google Research62

    Google Research 发布 WAXAL:覆盖 27 种撒哈拉以南非洲语言的开放语音数据集

    Google Research 发布开放语音数据集 WAXAL,覆盖 27 种撒哈拉以南非洲语言、超过 26 个国家的 1 亿多名使用者。初始版本包含约 1,846 小时 ASR 转写自然语音和超过 565 小时 TTS 高保真录音,并以 CC-BY-4.0 许可开放。数据集自 2021 年起与非洲学术及社区组织合作建设,Google 还计划继续扩展语言覆盖。

    推荐理由:原文给出语言覆盖、ASR 与 TTS 数据规模及开放许可,便于读者评估其对低资源语音研究的基础价值。

9月9日周二
  1. Mistral AI73

    Mistral AI 完成 1.7B€ C 轮融资,投后估值 11.7B€

    Mistral AI 宣布完成 1.7B€ C 轮融资,投后估值为 11.7B€,本轮由 ASML 领投,DST Global、Andreessen Horowitz、Bpifrance、General Catalyst、Index Ventures、Lightspeed 和 NVIDIA 等现有投资者参投。

    推荐理由:官方披露了融资金额、估值、领投方和资金用途,可用于理解 Mistral AI 在企业级前沿 AI 与半导体场景上的扩张方向。

7月23日周三