Hacker News：AI 热帖· ahamez·2026-10-12 05:03· 1 天前AI 评分55

ZML 推出通用 LLM 推理服务器 LLMD

The Universal LLM Server

AI 导读

ZML 推出自包含的通用 LLM 推理服务器 LLMD，支持 LLaMa、Gemma、Qwen 和 Mistral 模型，并覆盖 NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI 与 Apple Metal。