跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 41–60 条 · 共 73 条
8月31日周一
  1. Fireworks AI(网页)67

    Fireworks AI 宣布 Training API 与 Fireworks Lab 正式可用

    Fireworks AI 宣布 Training API 和 Fireworks Lab 正式可用,Training API 可把用户用 Python 编排的自定义训练循环接入 Fireworks 托管的分布式训练与 rollout 基础设施。

    推荐理由:文章说明了 Training API 的自定义训练循环、Serverless 与 Dedicated 两种算力模式,以及训练和推理一体化部署方式,便于评估后训练工程接入路径。

8月21日周五
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,LFM2.5 推理最高加速 3.18 倍

    Liquid AI 发布面向 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 的 DSpark 草稿模型检查点,通过推测解码提升推理速度且不改变贪心解码输出。

    推荐理由:文章给出三款草稿模型的参数规模、H100 与 M4 Max 实测加速及 llama.cpp、SGLang 接入方式,便于评估端侧和服务端部署收益。

8月20日周四
8月18日周二
  1. Hugging Face Blog74

    Sentence Transformers v6.0 推出 MultiVectorEncoder,支持 ColBERT 式多向量晚交互检索

    Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚交互检索,并可直接加载 PyLate、Stanford-NLP ColBERT 检查点,也支持 colpali-engine 视觉文档检索模型。

    推荐理由:文章围绕 Sentence Transformers v6.0 的 MultiVectorEncoder,给出加载、检索、索引和多模态用法,便于直接迁移到现有 RAG 流程。

8月14日周五
  1. Hugging Face Blog62

    Strands Robots 结合 LeRobot 与 Hugging Face Storage Buckets 实现录制、训练和部署闭环

    Hugging Face 发布教程,演示用 Strands Robots、LeRobot 和 Storage Buckets 在一个 AI 智能体中完成机器人示教录制、增量同步、流式训练和 checkpoint 部署。

    推荐理由:文章用同一套 LeRobot 数据格式串起录制、同步、流式训练和硬件部署,适合搭建机器人数据闭环时参考。

8月11日周二
7月29日周三
  1. Fireworks AI(网页)72

    Fireworks AI 教程:用低于 10 美元的成本微调 Qwen3-Embedding-8B 嵌入模型

    Fireworks AI 发布教程,展示在其平台上用对比微调把 Qwen3-Embedding-8B 适配到特定领域,单次成本低于 10 美元。方法使用 query-positive 对、批内负样本和双向 InfoNCE,典型设置为 150 步、batch size 64、学习率 1e-5、temperature 0.02。

    推荐理由:文章给出低于 10 美元的嵌入模型对比微调流程、参数配方和多任务评测,可直接迁移到私有 RAG 与语义检索场景。

7月27日周一
  1. Fireworks AI(网页)82

    Fireworks 上线 Kimi K3 Day-0 推理与训练,并推出美国专属 Serverless 端点

    Fireworks 宣布开放权重模型 Kimi K3 已在平台 Day-0 提供推理和训练,支持按 token 付费、Serverless 接入、Batch 模式 50% 折扣,以及美国境内推理和 Zero Data Retention。

    推荐理由:文章同时给出推理、训练入口、数据驻留与零保留策略,便于团队评估用开放权重模型承接生产任务的可行性。

7月26日周日
7月23日周四
7月16日周四
7月15日周三
7月10日周五
7月8日周三
7月7日周二
  1. Berkeley AI Research66

    Berkeley AI Research 观点:智能近乎免费后,面向、承载与由 Agent 构建的数据系统

    UC Berkeley 研究者提出,AI 推理成本快速下降后,数据系统将面临 For、Of、By Agents 三类新挑战。GPT-4 级能力价格已从 2023 年初约每百万 token 30 美元降至 1 美元以下,部分供应商低于 0.10 美元;多 Agent 执行 text-to-SQL 任务时,80-90% 的子查询存在重复工作。

    推荐理由:文章把推理成本下降转化为数据系统的三类研究议程,并给出重复查询、结构化记忆和系统合成等具体切入点。

  2. Hugging Face Blog69

    Hugging Face Storage 成为 SkyPilot 存储后端,支持 hf:// 跨云挂载与免出站读取

    Hugging Face 与 SkyPilot 联合推出 store: hf,SkyPilot 任务可用一个 hf:// URL 和 HF_TOKEN 挂载 Hugging Face Bucket 或 Hub 仓库,并在 20+ 云、Kubernetes、Slurm 和本地环境运行。

    推荐理由:文章给出跨云挂载方式、免出站读取费用和基准速度,便于评估多云 GPU 任务的数据访问成本。