Hacker News:AI 热帖· rsihi·· 4 小时前AI 评分25
Ask HN:如何在普通电脑上获得前沿模型能力
Ask HN: Frontier Capability on Average Computers
AI 导读
一位 HN 用户提出在本地普通硬件上接近前沿大模型能力的设想:下载多个小型开放权重模型,由一个路由模型按任务分派给专门模型处理,各模型的思考与工作通过 .MD 文件保存共享,实现完全本地运行。其灵感来自将 LLM 权重分散到 SSD、每次只在 GPU/SoC 上加载一个 expert 的做法,发帖旨在征求社区反馈。
来源:Hacker News:AI 热帖 · news.ycombinator.com