Hacker News:AI 热帖· shreya_shankar·· 12 天前AI 评分53
如何估算 AI 驱动过滤器的成本
How to Cost Your AI-Powered Filters
AI 导读
Quail 团队讲解如何用 roofline 模型估算 AI-SQL 过滤查询在指定 LLM 和 GPU 上的速度下限。文章分别计算投影、注意力和 MLP 的 FLOPs 与 HBM 流量,并处理多过滤器的 KV cache 复用和执行顺序。
来源:Hacker News:AI 热帖 · fsdatalab.github.io