[机器学习入门] 李宏毅机器学习笔记-15 (Unsupervised Learning: Word Embedding;无监督学习:词嵌入)
来源:互联网 发布:淘宝金币大转盘 编辑:程序博客网 时间:2024/05/29 04:36
[机器学习入门] 李宏毅机器学习笔记-15 (Unsupervised Learning: Word
Embedding;无监督学习:词嵌入)
Word Embedding
Word Embedding 是前面讲到的dimension reduction一个很好的应用。
1-of-N Encoding,是把所有的word用一个向量表示,每个向量都不一样,我们没办法从中获得更多的信息,比如猫和狗都属于动物,所以这时我们用Word Class将其分为n个类型,但又有了另一个问题,我们同样无法得知两个类型之间的相关性,所以要采用Word Embedding方法,就是把每一个word都投射到一个高维空间里,两个相似的类型隔得距离较近,这样就能得到相关性。
那么怎样让机器读懂词汇呢?
只知道输入,不知道输出,这就是一个无监督学习。
核心思想就是,通过该词语的上下文。
How to exploit the context?
有两个方法:
1.Count based
2.Prediction-based
用 前面words 作为neural network的输入 预测下一个词的几率。
Prediction-based
训练出neural network,所以我们将他的第一个hidden layer拿出来,就能将它们对应到相应的空间。
但是,仅通过一个词汇就要预测下一个词汇是很难的,所以通过Sharing Parameters来进行增强。
Sharing Parameters
不仅用前一个word,还用前n个词来一起预测。
同样的weight是为了让同一个word放在i-1的位置和i-2的位置都有同样的transform,Or, one word would have two word vectors.另外的好处是可以减少参数量。
计算过程:
怎样让W1,W2等参数的weight一样呢?
那么怎样来训练这个network呢?
Training
完全是无监督的。
Various Architectures 有几招:
回到Word Embedding
Word Embedding
可以发现,我们把同样类型的word摆在一起,他们之间是有固定的关系的。
所以就可以从中发现一些关系。
比如让两个word两两相减,然后project到一个space上,如果落到同一处,则他们之间的关系是很类似的。
有了这个特性,这样我们就可以做一些预测工作。
- [机器学习入门] 李宏毅机器学习笔记-15 (Unsupervised Learning: Word Embedding;无监督学习:词嵌入)
- [机器学习入门] 李弘毅机器学习笔记-16 (Unsupervised Learning: Neighbor Embedding;无监督学习:邻域嵌套)
- [机器学习入门] 李宏毅机器学习笔记-14 (Unsupervised Learning: Linear Dimension Reduction;无监督学习:线性降维)
- 无监督学习(unsupervised learning) 2.词嵌入
- [机器学习入门] 李弘毅机器学习笔记-17(Unsupervised Learning: Deep Auto-encoder;无监督学习:深度自动编码器)
- 无监督学习(unsupervised learning) 3.近邻嵌入
- 无监督学习(Unsupervised Learning)
- 无监督学习(unsupervised learning)
- 机器学习之无监督特征学习——Unsupervised feature learning and deep learning
- [机器学习入门] 李宏毅机器学习笔记-13 (Semi-supervised Learning ;半监督学习)
- 机器学习笔记 (一) 监督学习、无监督学习
- Stanford 机器学习笔记 Week8 Unsupervised Learning
- 【Stanford机器学习笔记】11-Unsupervised Learning
- 监督学习(supervised learning)和无监督学习(unsupervised learning)
- 机器学习 6 unsupervised learning
- Standford机器学习 聚类算法(clustering)和非监督学习(unsupervised Learning)
- Standford机器学习 聚类算法(clustering)和非监督学习(unsupervised Learning)
- 【Machine Learning】笔记:无监督学习之 Neighbor Embedding
- Java语言的跨平台可移植特性
- apache配置文件:http.conf配置详解
- javaSE基础-数组排序
- 并发 阻塞队列
- Android-Activity页面之间的数据传递
- [机器学习入门] 李宏毅机器学习笔记-15 (Unsupervised Learning: Word Embedding;无监督学习:词嵌入)
- oracle 创建job进行submit时提示字符缓冲去太小
- Android中View绘制过程(二) Activity的decorView , Window ,ViewRooImpl 分别什么时候创建
- 射线检测UGUI的Button组件,控制Button四种状态状态
- 1035. Password (20)
- SpringMVC参数接受填坑
- thread47
- 三元表达式和列表解析
- 22. 编写函数:移动字符串中的内容