跳到正文
原文
Hacker News:AI 热帖· mdp2021·· 2 天前AI 评分50

Tensordyne 如何用对数提升 AI 计算效率

Tensordyne is making AI compute more efficient using logarithms

AI 导读

Tensordyne 采用基于对数的数值格式,把乘法转换为加法,以提升 AI 芯片计算效率,并用近似和专有技术支持大模型运行。其软件栈可转换 PyTorch 模型,但仍面临精度、GPU 定制内核迁移和训练支持难题。文章还指出,生成式 AI 负载常受内存带宽限制,批处理可提高计算效率的重要性但会增加延迟。

来源:Hacker News:AI 热帖 · zach.be