word2vec之skip-gram模型

   

    在word2vec里面是使用一个简单的两层神经网络来训练的，一个隐层和一个softmax层。里面就有两组权值要训练，但是最后使用的时候只要只要第一组权值，也就是隐层的权值。

    输入是一个one-hot的向量，隐层的权值matrix实际上就是每个词的向量，每一行代表一个词的向量，这样，一个ont-hot乘这个权值矩阵的时候，就相当于取了matrix的一行。

   输出是一个softmax层，用来表示词典中每个词作为上下文的概率，目标是真正在上下文词出现的那个词的概率的位置接近1，这个位置就是这个上下文词的one-hot为1的那个位置。

    举个例子：i love deep learning , 假设取中心词为deep，取window为1，这样输入的样本有两个：(deep, love), (deep, learning) ，当输入第一个样本的时候，输入是deep的one-hot，输出是一个概率分布，我们的目标就是love对应的那个位置的概率越大越好，学习过程就是和love的one-hot计算loss，来更新输出层／隐层的权值，第二个样本也是一样的计算。

    有时候，词典会很大，比如10w，这样最后输出的softmax以及更新的时候计算量就会很大，为了解决这个问题，作者就提出了一些优化的手段，比如Hierarchical Softmax/Negative Sampling这些技巧来加快运算。