Uqlai`blog

Word2Vec理解

2017-08-07

带着问题看文章

  • word2vec是怎么实现的?
    看论文,先不总结

  • Wordvec怎么得到词向量?
    那么word2vec向量到底在哪儿?其实这些词向量就是神经网络里的参数,生成词向量的过程就是一个参数更新的过程。那么究竟是什么参数呢?就是这个网络的第一层:将one-hot向量转换成低维词向量的这一层(虽然大家都不称之为一层,但在我看来就是一层),因为word2vec的输入是one-hot。one-hot可看成是1N(N是词总数)的矩阵,与这个系数矩阵(NM, M是word2vec词向量维数)相乘之后就可以得到1M的向量,这个向量就是这个词对应的词向量了。那么对于那个NM的矩阵,每一行就对应了每个单词的词向量。接下来就是进入神经网络,然后通过训练不断更新这个矩阵。

参考:
秒懂词向量Word2vec的本质
有谁可以解释下word embedding? - li Eta 的回答
有没有详细讲解word2vec的原理、具体应用、中文处理 方面的资料或教程? - li Eta 的回答
Skip-gram如何训练得到词向量( Distributed Representation)? - li Eta 的回答

使用支付宝打赏
使用微信打赏

若你觉得我的文章对你有帮助,欢迎点击上方按钮对我打赏

扫描二维码,分享此文章