表示学习1-word2vec
来源:互联网 发布:阿里云搭建ss教程 编辑:程序博客网 时间:2024/06/08 02:59
几点基础工作
- Representation learning
- using machine learning techniques to derive data representation
- Distributed representation
- different form one-hot representation, it uses dense vector to representation to represent data points
- Embedding
- mapping information entities into a low-dimension space
Softmax function
函数公式:
具体Softmax function的特点可以参考 Softmax function 的特点和应用
Word2Vec
总体上,构建一个多层神经网络,在给定文本中获取对应的输入和输出,训练过程中不断修正网络的参数,最终得到输出的词向量
大体流程:
1. 分词/词干提取和词形还原
2. 构造词典,统计词频
3. 构造树形结构
4. 生成节点所在的二进制编码
5. 初始化各非叶节点的中间向量和页节点的词向量
详细介绍可参考 Word2Vec主要流程
Word2Vec中的两个重要的模型:
- CBOW
- skip-gram
可参考 CBOW 和 skip-gram
阅读全文
0 0
- 表示学习1-word2vec
- CSIC2010学习Word2vec表示及可视化
- word2vec学习(1)
- word2vec学习
- word2vec 学习
- word2vec学习
- word2vec学习
- word2Vec学习
- word2vec学习
- word2vec学习
- 文本深度表示模型Word2Vec
- 文本深度表示模型Word2Vec
- 文本深度表示模型Word2Vec
- 文本深度表示模型Word2Vec
- 文本深度表示模型Word2Vec
- Word2Vec学习笔记1 初步梳理
- word2vec【1】
- Word2vec——文本深度表示模型
- merge_intervals
- C#反射(Reflection)详解
- qtablewidget item不可以修改
- 九度题目1074:对称平方数
- jQuery和jQuery UI的区别
- 表示学习1-word2vec
- wampServer 启动报错
- Eclipse中怎么安装TestNG单元测试框架
- Spring中的@scope注解
- Linux下SGX的使用(2)-Hello Enclave
- Spring RedisTemplate操作-List操作
- Codeforces 856A
- POSIX定时器-线程方式创建定时器
- 第2章 UNIX标准及实现