word2vec知识点原理详细讲解

word2vec知识点原理详细讲解

1. 模型的数据的形式和shape
2. word2vec的模型分类（skip-gram和CBOW）
3. skip-gram模型重要知识点理解
4. cbow模型知识点理解
5. tensorflow实现（skip-gram）

---

• 模型的数据的形式和shape
  读了很多相关内容，终于搞明白了word2vec的相关原理，下面开始详细介绍主要知识点。
  word2vec的数据输入形式主要是one-hot vector,比如我现在有一大段训练文本，我们先对训练文本分词，统计各个词汇的词频，按照词频大小将词语顺序排列，比如总共有10000个词，one-hot vector的长度就为10000。举个简单的例子，比如现在有个句子：我是一个勤奋的孩子。对他分词为：我，是，一个，勤奋，孩子。总共5个词。那么孩子这个词就可以表示为（0，0，0，0，1）.知道了这个概念以后，我们在讲一下嵌入向量embedding vector的概念。其实在word2vec中每个词汇的表示向量就是对应的embedding vector。还是用上面那个例子，5个词的embedding 的shape为[5,embedding_size],其中embedding_size自己指定，为了方便说明，我设为4，就是[5,4]，一开始先随机初始化这个矩阵，假如是
  [[0.12,0.14,0.15,-0.2],[0.33,0.01,0.08,-0.07],[0.34,0.01,0.08,-0.07],[0.39,0.31,0.08,-0.07],[0.33,0.01,0.08,-0.001]],那么’孩子’这个词的表示向量就是[0.39,0.31,0.08,-0.07]。也即embedding层既是输入层和隐藏层之间的权重，也是隐藏层的实际输出，也是词汇的向量表示。

剩下的接着更新。。。