跳到正文
原文
Hacker News:AI 热帖· Lio·· 4 小时前AI 评分72

视频解析 Mac 运行本地 AI 为何缓慢:瓶颈在 KV cache 而非芯片

Why Your Mac Is Slow at Local AI (and It's Not the Chip) [video]

AI 导读

Kai 的视频指出,Mac 本地 LLM 在智能体循环中每轮重复读取完整提示词,tokens-per-second 计数器通常只显示 decode,掩盖了 prefill 等待。

来源:Hacker News:AI 热帖 · youtube.com