跳到正文
原文
Hugging Face Blog·· 19 天前AI 评分57

Liquid AI 发布 LFM2.5-VL-DSpark 实验性视觉语言草稿模型

Accelerating vision-language models with LFM2.5-VL-DSpark

AI 导读

Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型,通过推测解码在不改变输出质量的前提下提升推理速度。草稿模型约 280M 参数,使部署参数量增加 8.9%;端侧解码最高加速 3.13x,H100 最高加速 2.66x,端到端最高提升分别为 2.62x 和 2.27x。

来源:Hugging Face Blog · huggingface.co