跳到正文
原文
Hacker News 热门(buzzing.cc 中文翻译)· anerli·· 12 天前AI 评分62

Magnitude 发布面向智能体的自优化开源推理引擎

Launch HN: Magnitude (YC S25) – 面向智能体的自优化推理引擎

AI 导读

Magnitude 发布面向智能体的开源推理引擎,可在本机编译并调优内核,支持 macOS、Windows 和 Linux。其称开放模型运行速度最高可达 llama.cpp 的 2 倍,Metal decode 快 92%、CUDA 快 19%,每个智能体内存占用降低 27%。

来源:Hacker News 热门(buzzing.cc 中文翻译) · github.com