跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–20 条 · 共 73 条
今天10月13日周二
  1. Hacker News:AI 热帖77

    PostHog 复盘构建 AI 产品的 38 条经验

    PostHog 复盘其构建 10 个 AI 产品、服务近 10 万月活用户的经验,核心建议是优先为 AI 构建 MCP server 等接口,而不是简单添加助手。

    推荐理由:文章基于 PostHog 构建 10 个 AI 产品的内部实践,提供从 MCP 接口、上下文建设到成本与可靠性的可迁移经验。

  2. AWS Machine Learning Blog62

    Amazon Bedrock 教程:在泰国、马来西亚、新加坡、印尼和台湾通过全球跨区域推理访问 OpenAI GPT 模型

    AWS 教程说明如何在 Amazon Bedrock 上通过全球跨区域推理访问 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra;Sol 与 Luna 可从新加坡、雅加达、马来西亚、泰国和台北五个源区域调用,Astra 从新加坡调用。

    推荐理由:文章给出跨区域推理配置、IAM 与 SCP 权限、配额和监控方法,适合在东南亚及台湾区域接入 GPT-6 时直接参照。

10月12日周一
10月10日周六
10月9日周五
  1. Hacker News:AI 热帖76

    Google 开源端侧 GPU 推理引擎 ML Drift

    Google AI Edge 团队以 Apache 2.0 许可证开源 ML Drift,这是面向端侧 AI/ML 推理的跨平台 GPU 计算引擎,并作为 LiteRT 的核心 GPU 加速引擎。

    推荐理由:文章梳理了 ML Drift 的跨平台 GPU 抽象、LiteRT 集成和迁移路径,便于端侧推理开发者评估旧 TFLite GPU delegate 的替代方案。

10月8日周四
  1. GitHub Blog · AI & ML67

    GitHub 推出 ModernBERT 通用密钥检测模型,扩展 push protection 至非结构化密钥

    GitHub 发布与 Microsoft Applied Sciences 合作构建的 ModernBERT 通用密钥检测分类器,把 push protection 扩展到无固定模式的非结构化密钥。

    推荐理由:文章用九个季度数据说明代码活动增长而非开发者变粗心,并给出新分类器的速度、覆盖范围和上线计划。

  2. Microsoft Research72

    Microsoft Research Asia 开源 Agent Lightning v1.0,用约 3,500 行代码训练真实 harness 智能体

    Microsoft Research Asia 发布并开源 Agent Lightning v1.0,提出 Harnessed Agentic RL,让部署时使用的同一 agent harness 直接参与强化学习,无需在训练框架中重写智能体。

    推荐理由:原文给出真实 harness 接入方式、Kubernetes 运行方案和 SWE-bench Verified 结果,便于评估其复用到自有智能体训练的成本。

10月6日周二
  1. Databricks:Blog(RSS)60

    Databricks Runtime 推出 NEAREST BY 原生批量向量搜索连接

    Databricks Runtime 推出 NEAREST BY 连接语法,将批量向量搜索表达为原生 top-k ranking join,并在 Photon 中通过 SIMD 距离函数、融合 GEMM 算子和可选 IVF 索引执行。

    推荐理由:文章把批量向量搜索拆解为 top-k ranking join,并说明 Photon、GEMM 与 IVF 索引如何共同提升大规模批处理吞吐。

10月5日周一
  1. Hacker News:AI 热帖84

    如何构建 AI 原生软件工厂:基于 Uber 等公司实践的落地指南

    文章系统拆解企业如何在 Claude Code、Cursor、Codex 等现成编码智能体之外构建 AI 原生软件工厂,重点不是自研编码智能体,而是建设运行环境、工具接入、上下文、流程与权限门禁。

    推荐理由:文章把 Uber 等公司的公开实践拆成六层平台与落地顺序,可用于对照企业从个人编码工具走向规模化智能体的建设路径。

10月4日周日
  1. Hacker News:AI 热帖78

    Kitsuno 如何在生产环境影子训练开源决策模型 Laya 以替换闭源 Jev

    Kitsuno 用 8 天时间微调开源决策模型 Laya,并让它在生产环境与闭源 Jev 并行处理每个真实请求,但仍由 Jev 的结果生效。训练使用约 4,400 条招聘广告和约 44,000 个问题,明确不用 Jev 输出做蒸馏标签;当前 k6 在 574 个测试决策上准确率为 95.8%,Jev 为 93.7%,但差异尚不显著。

    推荐理由:完整呈现用开源决策模型在生产环境影子替换闭源模型的训练、评测、部署与切换门槛,方法可迁移到分类器落地。

10月3日周六
10月2日周五
10月1日周四
9月30日周三
  1. AWS Machine Learning Blog62

    Amazon Bedrock AgentCore Runtime Instances 构建多智能体音乐制作流水线教程

    AWS 教程演示在 Amazon Bedrock AgentCore Runtime Instances 上部署三个协作智能体,共同生成、母带处理并审核可播放的 .wav 音乐文件。

    推荐理由:教程用共享会话把三个独立部署的智能体放到同一 GPU 实例,适合参考长周期多智能体工作流的工程编排方式。

  2. NVIDIA Blog65

    CoreWeave 在 CoreWeave Cloud 推出 NVIDIA Vera Rubin NVL72、Vera CPU 与 Forge 智能体开发环境

    CoreWeave 宣布在 CoreWeave Cloud 提供 NVIDIA Vera Rubin NVL72 系统,并搭配 Spectrum-X 102.4T Ethernet;Cognition 是首个在 Vera Rubin 上运行生产工作负载的客户。

    推荐理由:文章集中呈现 CoreWeave 对 Vera Rubin、Vera CPU 与 Forge 的落地安排,并给出 Cognition 早期推理测试数据,便于理解训练到生产闭环的基础设施组合。

  3. The Decoder81

    DeepSeek 与华为合作发布面向 Ascend 芯片的开源 TileLang 编程工具

    DeepSeek 与华为合作发布面向华为 Ascend AI 芯片的开源编程工具,核心是 TileLang,并包含计算与芯片间数据搬运库。双方还优化了由 128 颗 Ascend 950 芯片组成的 supernode;DeepSeek 称 TileLang 比 CUDA 更易编程,且已成为其 AGI 工作的主要工具。

    推荐理由:文章把 TileLang 放在 CUDA 生态壁垒和国产 AI 芯片软件栈竞争中解释,便于理解其对 Ascend 训练生态的意义。

  4. IT之家(RSS)83

    Anthropic 与 SpaceX 签署最高 845 亿美元算力协议,可提前 90 天解除

    Anthropic 已与 SpaceX 签署最高 845 亿美元的 GPU 算力租用协议,覆盖 Colossus 一号和 Colossus 二号数据中心。协议于 2026 年 5 月签署,Anthropic 每月支付 12.5 亿美元至 2029 年 5 月,并可提前 90 天通知解除。Anthropic 还计划未来十年至少投入 5,180 亿美元建设 AI 基础设施。

    推荐理由:文件披露了合同金额、付费周期和提前解约条款,可帮助理解头部模型公司对长期算力资源的安排弹性。

  5. Hacker News:AI 热帖85

    Anthropic 招股书显示 10 年至少投入 $518B 建设 AI 基础设施,约 80% 承诺不可取消

    Anthropic 在保密 IPO 招股书中预计 10 年与 6 家伙伴投入至少 $518B 建设 AI 基础设施,其中约 80% 不可取消或无论使用量都需付款。

    推荐理由:招股书披露了 Anthropic 十年算力承诺的金额结构和不可取消条款,可帮助理解头部 AI 实验室的基础设施财务压力。