跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 21–40 条 · 共 73 条
9月30日周三
  1. Databricks:Blog(RSS)72

    Databricks 如何在发布首日向 12,000 名员工推出前沿模型

    Databricks 介绍了基于 Unity Gateway 的新模型上线流程:首日以实验模式向全员开放,通过每用户预算限制支出,再依据私有基准、用户反馈和 OpenTelemetry 成本追踪决定推广或下架。

    推荐理由:文章拆解了企业在全员快速试用新模型时,如何用预算、基准和真实会话成本控制风险并决定默认模型。

9月29日周二
  1. Claude:Blog(网页)72

    Anthropic 复盘智能体编码挤压 CI:测试影响分析服务如何扩展

    Anthropic 复盘其测试影响分析服务在智能体编码带来的 CI 压力下完成架构重构。工程师人均每季度代码产出达到 2021-2025 年的 8 倍,Claude 编写其中 80% 的代码,代码库测试量增长 10 倍,CI 作业在 6 个月内增长 25 倍。

    推荐理由:文章用 Anthropic 内部 CI 负载变化和架构演进,说明智能体加速研发后测试基础设施需要按指数增长提前设计。

  2. Databricks:Blog(RSS)74

    Databricks 如何在首日向 14,000 名员工推出前沿模型

    Databricks 介绍了通过 Unity Gateway 在新模型发布首日向员工开放实验性访问、按用户预算控制成本,并在三天内依据基准、用户反馈和 OpenTelemetry 成本追踪决定是否推广的流程。

    推荐理由:文章拆解了企业在新模型发布首日开放、预算约束和三天内依据质量与成本信号决定推广的完整流程。

  3. Databricks:Blog(RSS)70

    Databricks 为 Lakebase Postgres 推出 Lakebase Search,支持向量与 BM25 全文检索

    Databricks 发布 Lakebase Search,通过 lakebase_vector 和 lakebase_text 两个扩展为 Lakebase Postgres 提供可扩展近似向量检索与 BM25 全文检索,两项能力已在 AWS 和 Azure GA。

    推荐理由:文章给出 Lakebase Search 的向量与 BM25 混合检索架构、VectorDBBench 100M 指标和云上可用范围,便于评估 Postgres 内统一 OLTP 与搜索的可行性。

9月26日周六
  1. AWS Machine Learning Blog65

    NarrateAI 如何在 Amazon Bedrock 上实现生产级 LLM 质量保障

    AWS 介绍 NarrateAI 在 Amazon Bedrock 上用五项工程机制实现生产级 LLM 质量保障,服务超过 4,000 名 AWS 高管用户。系统通过自适应流水线让约 90% 查询走单次 LLM 调用,混合成本约为每次查询 1.4 次 LLM 调用;跨账号多模型故障转移把模型与账号组合成独立配额空间,负载测试支持超过 100 名用户并发流式请求。

    推荐理由:文章拆解了自适应路由、跨账号故障转移、流式评估和数值校验的工程组合,适合构建生产级 LLM 应用时参考。

9月25日周五
  1. Databricks:Blog(RSS)61

    Databricks 推出 Unity Gateway CLI,集中部署和管理编码智能体

    Databricks 推出 Unity Gateway CLI,让管理员集中配置编码智能体的默认模型、MCP 服务器、技能、Smart Routing 和支出策略,开发者可用 ug claude、ug codex 等命令启动已批准的智能体。

    推荐理由:文章说明了集中配置、预算策略、Smart Routing 和追踪如何统一治理多类编码智能体,便于评估企业级落地方式。

9月24日周四
  1. Google DeepMind62

    Google Private AI Compute 将加入安全的服务端持久记忆

    Google Private AI Compute 团队宣布将为平台加入私有的服务端持久记忆,使 AI 助手可跨设备保留长期上下文。新架构把数据存入云端专用加密存储,解密密钥仅保存在用户个人设备上,并通过端到端加密通道连接云端隔离安全飞地;数据只在处理请求时临时解密,随后立即重新加密。

    推荐理由:原文解释了云端持久记忆如何结合安全飞地、端侧密钥和可验证服务器软件,为理解跨设备个人 AI 的隐私架构提供参考。

9月23日周三
9月22日周二
9月21日周一
  1. Hugging Face Blog61

    Hugging Face 发布 tokenizers v1 候选版,编码速度较 v0.23 提升 3 至 30 倍

    Hugging Face 发布 Rust tokenizers v1 release candidate,在 Apple M4 Max 单线程上覆盖的 10 个模型家族编码速度较 v0.23 快 3 至 30 倍,8 个 worker 下达到 76% 的线性扩展。

    推荐理由:文章拆解了 tokenizers v1 在保持 token ID 与 API 不变的前提下,如何通过位流切分、缓存和无分配合并循环获得数十倍提速。

9月16日周三
9月14日周一
  1. Fireworks AI(网页)72

    Fireworks 发布 DeepSeek-V4.1-Flash,DeepSWE 编码准确率接近 GPT-6 Astra 且单任务成本为 1/15

    Fireworks 发布 DeepSeek-V4.1-Flash,并给出 DeepSWE、Terminal-Bench 2.1 与 HLE 评测。DeepSeek-V4.1-Flash 在 DeepSWE 上 Pass@1 为 74.34%,单任务成本 $0.430;GPT-6-Astra 为 74.12%、$6.524,二者质量接近而成本相差 15 倍。

    推荐理由:文章用 DeepSWE、Terminal-Bench 2.1 和 HLE 对比成本与能力边界,并解释输入输出分离激活及 KV cache 优化。

9月10日周四
9月3日周四
9月1日周二