word2vec 究竟学到了什么？新研究给出定量理论

Berkeley AI Research 新论文证明，在现实条件下 word2vec 的学习问题可归约为无加权最小二乘矩阵分解，梯度流动态有闭式解，最终表示等价于对目标矩阵 M* 做 PCA。从小初始化训练时，word2vec 以离散、顺序步骤学习正交线性子空间，每步提升嵌入矩阵秩并降低损失，特征可由语料共现统计预先算出。