PyTorch 性能剖析系列第 3 部分:如何剖析 attention
Hugging Face 发布 PyTorch 性能剖析教程第 3 部分,在 NVIDIA A100-SXM4-80GB 上对比朴素 attention、in-place masking 与 SDPA 的 math、efficient、flash、cuDNN 后端。
推荐理由:文章用同一 A100 环境对比多种 attention 实现的 profiler trace,可帮助读者把 kernel 数量、显存访问和后端选择联系起来。