Hacker News:AI 热帖· chairmanlee8·· 4 天前AI 评分55
Liquid Inference 推出 LLM 推理竞价路由市场
Show HN: Liquid Inference – auto-routing to competitive LLM marketplace
AI 导读
Liquid Inference 推出面向 LLM 推理的竞价市场,让提供商为每个聊天请求报价,并由满足模型、区域、速度和最低质量要求的最低报价方响应。用户可在生成前看到请求价格上限,只为实际产生的 token 付费;服务兼容 OpenAI Chat Completions 和 Anthropic Messages,只需修改 base URL。
来源:Hacker News:AI 热帖 · liquidinference.ai