如何从记忆机制推导出 Transformer

一篇技术解读把线性映射、MLP 和 self-attention 统一视为键值记忆存储，并用干扰信号比估算不同层的可回忆记忆容量。文中以 64 维键为例，给出外积存储约 64 条、Squared ReLU MLP 约 2,700 条、self-attention 超过 100 万条的容量对比，并解释 softmax 与长上下文 logit scaling 如何降低记忆间干扰。