跳到正文

#推理

今日 3 条
今天10月13日周二
  1. IT之家(RSS)47

    Astera Labs 发布"计算无关"机架架构 Orion:开放式、模块化设计

    Astera Labs 于本月 12 日发布"计算无关"机架参考设计 Orion,基于开放标准并采用模块化结构,含机架、计算托盘等六大生产级参考架构,支持多样化 CPU 和 AI 推理加速器。其核心为 320 通道 PCIe Switch,每个 pod 最多支持 160 块加速器,将于 2027Q1 通过 OEM 和 ODM 合作伙伴提供。

10月12日周一
  1. IT之家(RSS)70

    微软发布 Maia 300 AI 芯片:台积电 N2P 工艺,288GB HBM4,计划 2027 年部署

    微软正式发布 Maia 300 人工智能芯片,采用台积电 N2P 2 纳米制程和多芯粒设计,计划 2027 年部署。该芯片配备 288GB HBM4 内存、18TB/s 带宽,FP4 算力 13.8 PFLOPS、FP8 算力 6.9 PFLOPS,SoC 额定功耗 950W。单个机架可容纳 96 颗 Maia 300,最多可组建包含 12000 颗加速器的集群。

  2. IT之家(RSS)49

    丘成桐数学与人工智能实验室联盟在清华大学成立,推动 AI 与数学深度融合

    10 月 11 日,丘成桐数学与人工智能实验室联盟在清华大学成立,将攻关数学科学专用大模型、AI 辅助数学形式化证明与猜想发现等方向。联盟已集结超 1000 位数学家和科研工作者,联合多家机构,发布 10 余项“AI+数学”重点成果和研究方向,并探索中国自己的数学大模型建设路径。

10月11日周日
10月10日周六
  1. IT之家(RSS)67

    TypeSafe AI 完成约 8.7 亿美元融资,AI 决策模型 Jev 推动估值达 75 亿美元

    TypeSafe AI 完成约 8.7 亿美元融资,由 a16z 领投,公司估值达到 75 亿美元。该公司推出数周的 AI 决策模型 Jev 已被约三分之一财富 500 强企业采用,上线数天用户突破 100 万,平台每天处理数万亿个标记。TypeSafe 称 Jev 已实现盈利,新资金将用于扩充团队、推进大规模部署和采购算力。

10月9日周五
10月7日周三
10月6日周二
  1. Hacker News:AI 热帖53

    Volantis 完成 8800 万美元 A 轮融资,建设面向下一代 AI 的光子内存层

    Volantis 完成 8800 万美元 A 轮融资,由 Lachy Groom 和 Abstract Ventures 共同领投,资金将用于开发并商业化 A-1 推理系统、扩充工程团队及推进客户部署。A-1 计划支持超过 20 万亿参数模型,目标达到每用户 10,000 tokens 每秒,并通过连接计算芯片与内存的光子互连同时扩展容量和带宽。公司预计在 2027 年向客户交付首批集成推理引擎。

10月5日周一
10月2日周五
  1. 🚨 AI News | TestingCatalog57

    Volantis 宣布完成 8800 万美元 A 轮融资,由 Lachy Groom 和 Abstract 共同领投,John Doerr、Susa Ventures、VXI Capital、Triatomic Capital 参投。

    引用Tapa Ghosh@semiDL

    Excited to announce Volantis's $88M Series A. We are solving Al's memory bottleneck by using optics, enabling chips with huge amounts of fast & cheap memory. By boosting both the memory bandwidth and capacity per chip by orders of magnitude, we enable ultra-fast inference (up to 10,000 tps/user) for large models (>10T) - with low $/tok to boot. Initially, this will enable insanely fast agents - think coding agents that finish in minutes or even seconds instead of hours. More excitingly, optics is a fundamentally scalable way to increase memory systems. Not 2X/year, but by orders of magnitude across new generations. This will enable a structurally new Al industry, including restarting scaling laws, holding entire repos in context windows & more. Our team has pioneered many core semiconductor technologies: the 1st CoWoS product, early HBM, the 1st silicon photonics CPO systems, the 1st high volume tunable VCSELs, the 1st processors to directly communicate using light & more. We’ve already sent data >10× farther than equally tiny electrical wires inside a chip package. Our next iteration is already taped out and targets world-record bandwidth density over relevant distances, read more: https://volantissemi.ai/news-insights/our-88m-series-a-demolishing-the-memory-wall-with-photonics-post

  2. Rohan Paul53

    Volantis 宣布完成 8800 万美元 A 轮融资,累计融资 9700 万美元,投资方包括 Sam Altman、Jeff Dean 和 John Doerr。

    引用Tapa Ghosh@semiDL

    Excited to announce Volantis's $88M Series A. We are solving Al's memory bottleneck by using optics, enabling chips with huge amounts of fast & cheap memory. By boosting both the memory bandwidth and capacity per chip by orders of magnitude, we enable ultra-fast inference (up to 10,000 tps/user) for large models (>10T) - with low $/tok to boot. Initially, this will enable insanely fast agents - think coding agents that finish in minutes or even seconds instead of hours. More excitingly, optics is a fundamentally scalable way to increase memory systems. Not 2X/year, but by orders of magnitude across new generations. This will enable a structurally new Al industry, including restarting scaling laws, holding entire repos in context windows & more. Our team has pioneered many core semiconductor technologies: the 1st CoWoS product, early HBM, the 1st silicon photonics CPO systems, the 1st high volume tunable VCSELs, the 1st processors to directly communicate using light & more. We’ve already sent data >10× farther than equally tiny electrical wires inside a chip package. Our next iteration is already taped out and targets world-record bandwidth density over relevant distances, read more: https://volantissemi.ai/news-insights/our-88m-series-a-demolishing-the-memory-wall-with-photonics-post

10月1日周四
  1. The Decoder81

    OpenAI 称已阻断模型推理窃取行动,但研究人员在 Azure 上仍能复现攻击

    OpenAI 称其发现并关停了一个试图通过加密推理内容迁移和解密来蒸馏模型能力的账号网络,7 月 24 日至 25 日相关请求达到 16,000 次,涉及超过 4,000 名用户和超过 15,000 个关联账号。

    推荐理由:文章把 OpenAI 的封禁措施与研究人员在 Azure 上复现攻击的结果对照,呈现同一模型在不同托管平台防护不一致的问题。

  2. Hacker News:AI 热帖68

    AI 背后的物理堆栈:从电网、数据中心到 GPU 集群与算力经济

    一篇交互式解读梳理 AI 算力的物理堆栈,按电网与电力、数据中心设施、芯片、机架、集群、虚拟机、工作负载和经济回报八层展开。文章强调签约、许可、通电和可供服务器使用的电力处于不同阶段,并以 PUE、IT MW、tokens、GPU:CPU 比例、H100e 和 accelerator-hour 等指标区分容量与产出。

9月30日周三
  1. NVIDIA Blog65

    CoreWeave 在 CoreWeave Cloud 推出 NVIDIA Vera Rubin NVL72、Vera CPU 与 Forge 智能体开发环境

    CoreWeave 宣布在 CoreWeave Cloud 提供 NVIDIA Vera Rubin NVL72 系统,并搭配 Spectrum-X 102.4T Ethernet;Cognition 是首个在 Vera Rubin 上运行生产工作负载的客户。

    推荐理由:文章集中呈现 CoreWeave 对 Vera Rubin、Vera CPU 与 Forge 的落地安排,并给出 Cognition 早期推理测试数据,便于理解训练到生产闭环的基础设施组合。

  2. Rohan Paul50

    几乎每一朵 AI 云都运行在 NVIDIA 之上。 General Compute 想成为运行其他一切的那一个:Cerebras、SambaNova、Etched。 他们的第一个大动作是一笔大规模 Cerebras 采购,由 $400M 债务提供资金。这些机器将紧邻 NVIDIA GPU 部署,每个请求会在它们之间拆分。 GPU 读取提示词。Cerebras 写出答案,而且速度很快,因为权重存放在片上 SRAM 中,所以解码不会因内存带宽而停滞。

    引用General Compute@general_compute

    🚨 BREAKING: Super excited to announce we're deploying the world's fastest inference with @Cerebras. Talk to any developer and they're excited to build with 20x faster AI... the problem is there's almost no compute available. We're here to solve that. Using GPUs for prefill - it's now more affordable than ever too. Thank you to the whole Cerebras team and excited to grow this partnership. First tokens live Q127 🚀

9月29日周二
9月22日周二
9月16日周三
7月23日周三