IT之家(RSS)·· 3 小时前AI 评分55
英特尔推出 Intel Inference Microservices,支持至强处理器自动配置 vLLM 推理参数
英特尔面向四至六代至强处理器推出推理微服务:自动检测硬件并配置 vLLM 参数
AI 导读
英特尔推出 Intel Inference Microservices,用容器化微服务在第四代、第五代和第六代至强处理器上提供经调优的大语言模型推理能力。每个容器通过 OpenAI 兼容 API 暴露单个模型,启动时检测处理器代数、核心、NUMA 节点和加速器,并应用基于 vLLM、支持 BF16 的预验证配置。
来源:IT之家(RSS) · ithome.com