跳到正文

#部署/工程

今日 5 条
8月18日周二
  1. Hugging Face Blog43

    Hugging Face 实测:约束感知 GPU 调度器仅靠调整分配顺序,将利用率提升 33 个百分点

    Hugging Face 构建约束感知 GPU 分配器,在相同硬件与工作负载下对比 FIFO 调度器,GPU 利用率最高提升 33 个百分点,优先级加权产出最高提升 105%。在 5 个争用场景中,利用率从 52–85% 提升至 72–88%,优先级加权价值平均提升 52%。其核心是按实时需求曲线动态分配 GPU,并按优先级在整个时间范围内排布批处理任务。

8月14日周五
  1. Hugging Face Blog62

    Strands Robots 结合 LeRobot 与 Hugging Face Storage Buckets 实现录制、训练和部署闭环

    Hugging Face 发布教程,演示用 Strands Robots、LeRobot 和 Storage Buckets 在一个 AI 智能体中完成机器人示教录制、增量同步、流式训练和 checkpoint 部署。

    推荐理由:文章用同一套 LeRobot 数据格式串起录制、同步、流式训练和硬件部署,适合搭建机器人数据闭环时参考。

8月11日周二
8月10日周一
8月6日周四
  1. Hugging Face Blog44

    Baseten 加入 Hugging Face Inference Providers

    Baseten 现已成为 Hugging Face Hub 支持的推理提供商,可在模型页及 JS、Python 客户端 SDK 中使用。初期支持对话和文本生成任务,可访问 Kimi K3、DeepSeek V4 Flash、GLM-5.2 等开放权重 LLM。用户可用自有 API key 直连,或经 Hugging Face 路由计费,PRO 用户每月获 2 美元推理额度。

7月30日周四
  1. Hugging Face Blog42

    GPU 管理:为什么闲置 GPU 正成为新的停飞飞机

    Hugging Face 文章指出,企业 AI 的核心瓶颈正从模型能力转向 GPU 利用率,GPU 无论是否产生计算产出都按自然小时产生融资、折旧、电力与冷却成本。文章以航空业类比,说明拥有更多 GPU 只代表容量,真正拉开差距的是让硬件持续承担有效工作。企业自建集群后,问题也从能否获得加速器转为能否让其保持忙碌。

7月29日周三
  1. Fireworks AI(网页)72

    Fireworks AI 教程:用低于 10 美元的成本微调 Qwen3-Embedding-8B 嵌入模型

    Fireworks AI 发布教程,展示在其平台上用对比微调把 Qwen3-Embedding-8B 适配到特定领域,单次成本低于 10 美元。方法使用 query-positive 对、批内负样本和双向 InfoNCE,典型设置为 150 步、batch size 64、学习率 1e-5、temperature 0.02。

    推荐理由:文章给出低于 10 美元的嵌入模型对比微调流程、参数配方和多任务评测,可直接迁移到私有 RAG 与语义检索场景。

7月27日周一
  1. Fireworks AI(网页)82

    Fireworks 上线 Kimi K3 Day-0 推理与训练,并推出美国专属 Serverless 端点

    Fireworks 宣布开放权重模型 Kimi K3 已在平台 Day-0 提供推理和训练,支持按 token 付费、Serverless 接入、Batch 模式 50% 折扣,以及美国境内推理和 Zero Data Retention。

    推荐理由:文章同时给出推理、训练入口、数据驻留与零保留策略,便于团队评估用开放权重模型承接生产任务的可行性。

7月26日周日
7月23日周四
7月16日周四
7月15日周三
7月10日周五
7月9日周四
  1. Mistral AI52

    Mistral Studio 推出 Prompts 与 Skills 记录系统

    Mistral Studio 现已为 Prompts 和 Skills 提供集中式记录系统,支持版本化、明确归属、回滚、分类标签、审计日志和血缘追踪。业务人员可不经过每次 CI 运行直接编辑并测试,生产发布仍通过既有审批和 CI/CD;技能还可作为 MCP servers 从 Studio 调用。该功能已面向 Mistral Studio 客户开放。

7月8日周三
7月7日周二
  1. Berkeley AI Research66

    Berkeley AI Research 观点:智能近乎免费后,面向、承载与由 Agent 构建的数据系统

    UC Berkeley 研究者提出,AI 推理成本快速下降后,数据系统将面临 For、Of、By Agents 三类新挑战。GPT-4 级能力价格已从 2023 年初约每百万 token 30 美元降至 1 美元以下,部分供应商低于 0.10 美元;多 Agent 执行 text-to-SQL 任务时,80-90% 的子查询存在重复工作。

    推荐理由:文章把推理成本下降转化为数据系统的三类研究议程,并给出重复查询、结构化记忆和系统合成等具体切入点。

  2. Hugging Face Blog69

    Hugging Face Storage 成为 SkyPilot 存储后端,支持 hf:// 跨云挂载与免出站读取

    Hugging Face 与 SkyPilot 联合推出 store: hf,SkyPilot 任务可用一个 hf:// URL 和 HF_TOKEN 挂载 Hugging Face Bucket 或 Hub 仓库,并在 20+ 云、Kubernetes、Slurm 和本地环境运行。

    推荐理由:文章给出跨云挂载方式、免出站读取费用和基准速度,便于评估多云 GPU 任务的数据访问成本。

  3. Hugging Face Blog74

    LeRobot v0.6.0 发布:加入世界模型策略、奖励模型 API 与六项仿真基准

    Hugging Face 发布 LeRobot v0.6.0,围绕想象、评估和改进机器人学习闭环,新增 VLA-JEPA、FastWAM、LingBot-VA 世界模型策略,以及 GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT 等 VLA。

    推荐理由:版本说明覆盖模型、奖励模型、数据集、评测和部署链路,可帮助机器人学习团队判断哪些新组件能接入现有训练流程。

7月6日周一
7月1日周三
6月27日周六
6月26日周五
  1. Claude Platform:开发者版本说明(RSS)51

    Claude API 于 6 月 26 日提高全平台速率限制并整合用量层级

    Claude API 提高了全平台速率限制,Claude Sonnet 和 Claude Haiku 在每个用量层级的限额现在与 Claude Opus 一致。用量层级整合为 Start、Build、Scale 三档,多数组织会进入更高层级,且没有组织的限额低于此前水平。用户无需操作,可在 Claude Console 查看所属层级和当前限额。

6月25日周四
5月28日周四
  1. Mistral AI67

    Mistral AI 发布开源 Search Toolkit 公开预览版

    Mistral AI 发布 Search Toolkit 公开预览版,这是一个用于构建 AI 应用生产级搜索流水线的开源可组合框架,可运行在云端、本地和边缘环境。

    推荐理由:原文把数据摄取、检索和评估放进同一开源框架,并给出本地启动模板,适合评估企业 RAG 检索流水线的改造成本。

  2. Google Research52

    Google Research 提出零信任聚合隐私分析方案,用于 Android SafetyCore 端侧模型评估

    Google Research 发布零信任聚合隐私分析方案,通过单消息格基加密聚合协议与 TEE 证明结合,使服务器只能获得加噪后的匿名群体统计。设备无需多轮保持在线,原始数据不会在服务器内存或 TEE 中以明文重建;TEE 还可证明运行的是公开代码。该方案正与 Android SafetyCore 团队合作,用于评估安全分类器的元数据和真阳性率,同时让用户内容保留在设备本地。

5月19日周二
5月8日周五
  1. Berkeley AI Research62

    Berkeley BAIR 解析自适应并行推理如何提升推理扩展效率

    Berkeley AI Research 发布综述,提出自适应并行推理让模型在推理时自行决定是否拆分任务、生成多少并行线程以及如何汇总结果。文章比较 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild!

    推荐理由:文章梳理自适应并行推理的控制流、推理系统和奖励设计,可帮助读者理解降低长推理延迟的工程取舍。

5月4日周一
4月27日周一
4月22日周三
3月25日周三
1月22日周四