Hacker News:AI 热帖· Lio·· 4 小时前AI 评分72
视频解析 Mac 运行本地 AI 为何缓慢:瓶颈在 KV cache 而非芯片
Why Your Mac Is Slow at Local AI (and It's Not the Chip) [video]
AI 导读
Kai 的视频指出,Mac 本地 LLM 在智能体循环中每轮重复读取完整提示词,tokens-per-second 计数器通常只显示 decode,掩盖了 prefill 等待。
来源:Hacker News:AI 热帖 · youtube.com