跳到正文
原文
Hacker News:AI 热帖· shreya_shankar·· 12 天前AI 评分53

如何估算 AI 驱动过滤器的成本

How to Cost Your AI-Powered Filters

AI 导读

Quail 团队讲解如何用 roofline 模型估算 AI-SQL 过滤查询在指定 LLM 和 GPU 上的速度下限。文章分别计算投影、注意力和 MLP 的 FLOPs 与 HBM 流量,并处理多过滤器的 KV cache 复用和执行顺序。

来源:Hacker News:AI 热帖 · fsdatalab.github.io