跳到正文

#部署/工程

今日 1 条
今天10月13日周二
10月12日周一
  1. Hacker News:AI 热帖55

    UC Berkeley 等机构报告称全球硬暂停前沿 AI 训练具备可行性

    UC Berkeley 等机构的 26 名研究者发布 200 页报告,提出至少 10 年、可相互核查的国际前沿 AI 训练暂停路径。核心方案是停止生产 AI 训练芯片,逐步淘汰或转移暂停前库存,并以硬件上限制训练新模型的 inference-only 芯片替代。报告还提出核查秘密规避和公开违约的措施,同时保留科研、医疗应用及更低成本推理带来的经济收益。

10月9日周五
10月8日周四
  1. Hacker News:AI 热帖42

    在11台Intel AI PC上运行Inkling(975B)

    Cascadia在11台Intel Core Ultra X7 358H AI PC上常驻运行总参数975B、活跃参数41B的MoE模型Inkling,自研引擎将dense层调用时间从约8.1ms降至4.5ms。系统在88路并发下达到60.29 tokens/s聚合解码速度,完整服务阶段为46.87 tokens/s,15路并发时首token延迟中位数6.05秒,单流内存可支持512k位置上下文。

10月6日周二
  1. Hacker News:AI 热帖56

    KCoral 发布面向智能体 GPU 编程的轻量级基准评测服务器

    KCoral 发布轻量级基准评测服务器,将 GPU 执行与智能体开发循环解耦,让多个智能体通过 HTTP 协议远程提交 kernel 评测并共享 GPU 池。它支持单 GPU、多 GPU 和多节点调度,提供请求级隔离、文件缓存、CPU 编译与 GPU 执行分离,以及封装 python、compute-sanitizer、ncu 等工具的 CLI。

10月4日周日
10月3日周六
10月2日周五
10月1日周四
9月21日周一
8月25日周二
8月10日周一
7月29日周三
6月25日周四
5月8日周五
  1. Berkeley AI Research62

    Berkeley BAIR 解析自适应并行推理如何提升推理扩展效率

    Berkeley AI Research 发布综述,提出自适应并行推理让模型在推理时自行决定是否拆分任务、生成多少并行线程以及如何汇总结果。文章比较 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild!

    推荐理由:文章梳理自适应并行推理的控制流、推理系统和奖励设计,可帮助读者理解降低长推理延迟的工程取舍。

4月22日周三
3月25日周三