dl中的一些概念学习
来源:互联网 发布:我的世界新手网络联机 编辑:程序博客网 时间:2024/06/10 22:09
损失函数:
除最小均方误差(mse)外 还有交叉熵(cross entropy)
交叉熵损失函数为:
对权重求导:
参考:http://blog.csdn.net/u012162613/article/details/44239919
word embedding
Distributed representation 用来表示词,通常被称为“Word Representation”或“Word Embedding”
最词向量表示一个词原来是one hot vector,出现或者我们关注的词可能非常大,那么这个词向量的维度很高。
word embedding是一种词向量降维方法。
比如六级词汇有7000个词,那么表示这个词的one hot vector是一个灰常稀疏的7000维度的向量。
word embedding把一个词转成比如128维的向量,每一维是一个浮点数,而且通过这种向量可以计算距离(距离可以描述词义的相近程度)
转化方法是基于词相关矩阵+神经网络、降维的方法。(具体我也不懂,直角坐标系抽象了空间的维度,128维抽象了词的维度)
参考:http://blog.sina.com.cn/s/blog_584a006e0101rjlm.html
KL距离
(Kullback-Leibler Divergence)又称相对熵,KL散度。
一个离散随机变量服从分布,另一个离散随机变量服从分布,两个随机变量的KL距离为:
当两个水机变量的分布一致时,d=0。
Let a discrete distribution have probability function , and let a second discrete distribution have probability function . Then the relative entropy of with respect to , also called the Kullback-Leibler distance, is defined by
Although , so relative entropy is therefore not a true metric, it satisfies many important mathematical properties. For example, it is a convex function of , is always nonnegative, and equals zero only if .
,
lstm中的门:link http://blog.csdn.net/malefactor/article/details/51183989
- dl中的一些概念学习
- Spring学习中的一些概念
- 机器学习中的一些概念
- 机器学习中的一些概念
- 机器学习中的一些概念
- 深度学习中的一些概念
- 机器学习领域中的一些概念
- 学习笔记一:HotSpot中的一些概念
- 摄影中的一些概念
- hibernate中的一些概念
- C++中的一些概念
- sqlserver 中的一些概念
- 数据结构中的一些概念
- Wifi中的一些概念
- css中的一些概念
- GPGPU中的一些概念
- BT656中的一些概念
- 线性代数中的一些概念
- 好消息!ios10越狱插件造成桌面图标消失的完美解决方法来了!!!
- iOS 数组去重
- Android NDK开发
- Linux如何查看jdk的安装路径
- 【matlab】进度条(waitbar)
- dl中的一些概念学习
- leetcode -- 257. Binary Tree Paths【遍历次序】
- vue学习资料
- Linux中通过jsvc自启动tomcat乱码问题
- leetcode 78. Subsets
- Android App整体架构设计的思考
- 阿里Java开发手册之编程规约
- VFL
- 汇编程序开发环境搭配