跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 61–73 条 · 共 73 条
7月7日周二
  1. Hugging Face Blog74

    LeRobot v0.6.0 发布:加入世界模型策略、奖励模型 API 与六项仿真基准

    Hugging Face 发布 LeRobot v0.6.0,围绕想象、评估和改进机器人学习闭环,新增 VLA-JEPA、FastWAM、LingBot-VA 世界模型策略,以及 GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT 等 VLA。

    推荐理由:版本说明覆盖模型、奖励模型、数据集、评测和部署链路,可帮助机器人学习团队判断哪些新组件能接入现有训练流程。

6月27日周六
5月28日周四
  1. Mistral AI67

    Mistral AI 发布开源 Search Toolkit 公开预览版

    Mistral AI 发布 Search Toolkit 公开预览版,这是一个用于构建 AI 应用生产级搜索流水线的开源可组合框架,可运行在云端、本地和边缘环境。

    推荐理由:原文把数据摄取、检索和评估放进同一开源框架,并给出本地启动模板,适合评估企业 RAG 检索流水线的改造成本。

5月19日周二
5月8日周五
  1. Berkeley AI Research62

    Berkeley BAIR 解析自适应并行推理如何提升推理扩展效率

    Berkeley AI Research 发布综述,提出自适应并行推理让模型在推理时自行决定是否拆分任务、生成多少并行线程以及如何汇总结果。文章比较 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild!

    推荐理由:文章梳理自适应并行推理的控制流、推理系统和奖励设计,可帮助读者理解降低长推理延迟的工程取舍。

4月27日周一
1月22日周四
7月30日周三
6月11日周三
  1. Mistral AI60

    Mistral AI 推出 Mistral Compute 私有 AI 基础设施服务

    Mistral AI 发布 Mistral Compute,为政府、企业和研究机构提供包含 GPU、编排、API、产品与服务的私有集成 AI 基础设施,交付形态从 bare-metal 服务器到全托管 PaaS。

    推荐理由:原文说明了从裸金属到 PaaS 的交付层级、GPU 供给和数据主权定位,可帮助评估主权 AI 基础设施的可选路径。

5月7日周三
  1. Mistral AI67

    Mistral AI 推出由 Mistral Medium 3 驱动的 Le Chat Enterprise

    Mistral AI 发布 Le Chat Enterprise,这是由新 Mistral Medium 3 模型驱动的企业级 AI 助手,面向工具分散、知识接入不安全、模型不灵活和 ROI 缓慢等问题。

    推荐理由:原文系统列出企业搜索、智能体构建、数据连接器与混合部署能力,可帮助读者判断其面向组织场景的产品边界。

2月17日周一
  1. Mistral AI62

    Mistral AI 发布 24B 区域语言模型 Mistral Saba

    Mistral AI 发布区域语言模型 Mistral Saba,参数规模为 24B,使用中东和南亚精选数据集训练,支持阿拉伯语及多种印度起源语言,尤其擅长泰米尔语等南印度起源语言。Mistral Saba 已通过 API 提供,也可在客户本地安全环境部署,能在单 GPU 系统上运行,速度超过 150 tokens/s;官方称其响应比 5 倍以上规模的模型更准确相关,且更快、成本更低。

    推荐理由:原文说明了区域语言模型的参数规模、语言覆盖、部署方式和速度,可帮助读者理解专用小模型与通用大模型的取舍。

2月7日周五