压缩是智能吗：从信息论到语言模型预测的边界

文章解释压缩与智能的关系：更好的预测可降低理想编码长度，但压缩能力本身不等同于智能。文中用 90% 正面概率的硬币示例说明熵、交叉熵和 KL 散度，并指出语言模型的 next-token 交叉熵可对应评估数据上的编码成本。