面向 LLM 的规模化交互识别：SPEX 与 ProxySPEX

Berkeley AI Research 提出 SPEX 与 ProxySPEX，用于在大规模特征、训练数据和模型组件中识别影响 LLM 输出的关键交互。SPEX 借助稀疏性、低阶性及信号处理方法，将交互发现转化为稀疏恢复问题；ProxySPEX 进一步利用层级结构，以约 10x 更少的消融达到与 SPEX 相当的性能。