跳到正文

#部署/工程

今日 30 条
10月10日周六
  1. Hacker News:AI 热帖42

    沙箱基础设施:Fork is all you need

    文章提出以 fork 作为云虚拟机与 AI 智能体沙箱的核心基础设施原语,用单一操作覆盖基础 VM 派生、运行中 checkpoint 和工作负载分支。该方案源自 Unix fork(2),可降低 API 的圈复杂度,并通过 Arker API 在 fork 之上提供薄封装,减少基础设施锁定。

  2. Hugging Face Blog58

    Ai2 如何用 GPU 时间预算改造高影响力研究集群调度

    Ai2 将 GPU 集群调度器从优先级机制改为 GPU 时间预算、分层公平份额和时间片契约,以在保持高占用的同时优先支持高影响力研究。新系统按 7 天滑动窗口计算占用,工作负载声明最低运行时间并默认最长保护 8 小时;30 天测试中团队获得 98% 应得 GPU 小时,集群占用保持 98%,人工介入维修减少 74%。

  3. Hacker News:AI 热帖42

    Show HN:Senro——WebMCP 评测与可观测性平台

    Senro 推出面向 WebMCP 工具的评测与生产环境可观测性服务,帮助网站适配 AI 智能体,无需自建可靠性基础设施。上线前支持冒烟测试、目标与轨迹评测、页面检查、模拟用户及多模型对比;生产中提供工具活动、输入结果与错误、会话时间线、问题追踪及用量指标监控,可免费试用且无需信用卡。

10月9日周五
  1. Hacker News:AI 热帖55

    Liquid Inference 推出 LLM 推理竞价路由市场

    Liquid Inference 推出面向 LLM 推理的竞价市场,让提供商为每个聊天请求报价,并由满足模型、区域、速度和最低质量要求的最低报价方响应。用户可在生成前看到请求价格上限,只为实际产生的 token 付费;服务兼容 OpenAI Chat Completions 和 Anthropic Messages,只需修改 base URL。

  2. Hacker News:AI 热帖59

    Know Trend 分析:GPU 或成为新估值锚,CoreWeave 会否成为新 MicroStrategy

    Know Trend 提出 GPU 正从折旧资产转向升值甚至投机资产,投资者可能从现金流和利润表转向资产负债表,并用 P/C 比率估值。文章称 GOOG、AMZN、MSFT 持有全部 GAAP 披露算力的 56%,前五家约占 78%,当前 P/C 中位数为 20x;同时引用算力期货、GPU 抵押贷款和 NVIDIA 约 $500bn 芯片支持贷款计划,说明算力金融化正在推进。

  3. Hacker News:AI 热帖76

    Google 开源端侧 GPU 推理引擎 ML Drift

    Google AI Edge 团队以 Apache 2.0 许可证开源 ML Drift,这是面向端侧 AI/ML 推理的跨平台 GPU 计算引擎,并作为 LiteRT 的核心 GPU 加速引擎。

    推荐理由:文章梳理了 ML Drift 的跨平台 GPU 抽象、LiteRT 集成和迁移路径,便于端侧推理开发者评估旧 TFLite GPU delegate 的替代方案。

  4. IT之家(RSS)62

    Oracle 被曝用卡车转运天然气,临时满足数据中心能源需求

    Oracle 正通过卡车转运天然气,在燃气管网建成前临时满足数据中心能源需求,以加速算力容量上线。该方案已在犹他州数据中心使用一年多,并用于为 OpenAI 开发的得克萨斯州 Shackelford 数据中心,还可能扩展到新墨西哥州 Project Jupiter。卡车转运天然气成本约为大型管道枢纽输送的 4 倍,每辆大型拖车运输的天然气仅够 100MW 数据中心运行 40 分钟。

  5. IT之家(RSS)50

    黄仁勋女婿 Nico Caprez 升任英伟达全球 AI 基础设施增长副总裁

    Nico Caprez 今年 1 月升任英伟达全球 AI 基础设施增长副总裁,近期与黄仁勋长女黄敏珊结婚。他负责数据中心运营和 Neocloud 服务,并参与目标超过 5,000 亿美元资本动员的 AI 计算融资平台。Caprez 曾是瑞士国家高山滑雪队成员,加入英伟达不到两年,晋升时跳过高级总监级别。

  6. Hacker News:AI 热帖55

    自主 AI 调度器为何在预订场景产生竞态条件:多智能体并发冲突与租约锁网关方案

    文章解释两个自主调度 AI 智能体同时读取同一间手术室空闲状态并先后提交非原子写入,导致同一时段被重复预订。文中指出提示词无法实现互斥,原因是 LLM 推理延迟达 400 到 2,000 毫秒,而读取、判断、写入分离会在并发下产生竞态。方案是在模型与数据库提交之间加入确定性并发网关,通过带 TTL 的分布式锁、智能体推理与数据库提交隔离,以及确定性改道路由处理锁竞争。

10月8日周四
  1. Hacker News:AI 热帖57

    观点:更小的模型才是 AI 主权的未来

    作者认为澳大利亚的 AI 主权不应等同于租用美国前沿模型或打造单一国家聊天机器人,而应保留选择、适配、治理、替换和退出的能力。文章指出开放权重模型只是杠杆而非现成主权,较小的专用模型更易托管、评估、监控和替换,适合敏感数据、低延迟和受监管场景。作者主张采用组合策略,投资澳大利亚本地推理与安全算力、独立评测、微调部署能力、开放标准、数据治理和经过测试的退出方案,在相互依赖中管理关键风险。

  2. Hacker News:AI 热帖47

    Deliveroo 将 AI 流失预警削减 90%,但它真的留住合作商家了吗?

    Deliveroo 重建餐厅流失预测模型,按团队可处理容量设置预警阈值,离线测试使被标记餐厅减少逾 90%、精确率提升 8 倍。新模型每周在 Argo 流水线运行,并用 Shapley 值解释预测结果。Deliveroo 正通过随机对照实验检验干预能否真正降低流失率,截至文章发布日实验仍在进行,尚无结果。

  3. Hacker News:AI 热帖24

    CoolIT 近全量液冷热捕获方案如何为 AI 机架散热

    CoolIT 提出近全量液冷热捕获方案,以液体带走 AI 服务器机架几乎全部热量,使空气散热占比降至总负载的 1% 以下并支持无风扇设计。单机架功率超过约 250 kW 后,70/30 液风混合散热会留下 75 kW 空气负载,成本和复杂度难以接受;其方案基于历经六代无风扇设计验证的模块化冷板组件。CoolIT 模型预测,到 2028 年全量热捕获将成为旗舰级机架规模产品的标准服务器设计。