跳到正文
原文
Hacker News:AI 热帖· leochong·· 14 小时前AI 评分52

Reflex v0.2.3-runpod-hub 上线 Runpod Hub,提供 GGUF 原生 Rust/CUDA 推理与分类路由

Show HN: Reflex – A GGUF-native Rust/CUDA engine for scale-to-zero LLM routing

AI 导读

lateos-ai 的 Reflex 已在 Runpod Hub 上架 v0.2.3-runpod-hub,定位为 GGUF 原生 Rust/CUDA 引擎,用于 scale-to-zero LLM 分类与意图路由,并兼容 OpenAI chat completions。

来源:Hacker News:AI 热帖 · console.runpod.io