Deep Learning for Nature Language Processing --- 第四讲(下)
来源:互联网 发布:西方音乐史知乎 编辑:程序博客网 时间:2024/05/29 18:10
A note on matrix implementations
将J对softmax的权重W和每个word vector进行求导:
尽量使用矩阵运算(向量化),不要使用for loop。
模型训练中有两个开销比较大的运算:矩阵乘法f=Wx和指数函数exp
Softmax(=logistic regression) is not very powerful
softmax只是在原来的向量空间中给出了一些linear decision boundary(线性决策线),在小的数据集上有很好的regularization,但是在处理大数据集的时候会受到很大的限制。
但是neural network能够很好地克服softmax的缺点:
From logistic regression to neural nets
不单独介绍神经网络,可以参考其他介绍神经网络的文章
如果没有非线性的激活函数,那么输入x后,第一层就是W1*x,第二层就是W2*W1*x,等同于这个神经网络只有一层,权重为W2*W1。
有更多的层,deep learning就可以有近似(分类)更复杂数据集的功能:
神经网络的单层single layer就是一个线性表达式和一个非线性函数的组合:
激励activation可以用来计算某个函数,例如在softmax中:
示例:计算三层神经网络中一个window’ score(s=score(museumsinParisareamazing)):
score其实就是softmax的概率值
下一讲
训练一个window-based的神经网络
反向传播backpropagation
0 0
- Deep Learning for Nature Language Processing --- 第四讲(下)
- Deep Learning for Nature Language Processing --- 第四讲(下)
- Deep Learning for Nature Language Processing---第四讲(上)
- Deep Learning for Nature Language Processing---第四讲(上)
- Deep Learning for Nature Language Processing --- 第五讲
- Deep Learning for Nature Language Processing --- 第六讲
- Deep Learning for Nature Language Processing --- 第七讲
- Deep Learning for Nature Language Processing --- 第八讲
- Deep Learning for Nature Language Processing --- 第五讲
- Deep Learning for Nature Language Processing --- 第六讲
- Deep Learning for Nature Language Processing --- 第七讲
- Deep Learning for Nature Language Processing --- 第八讲
- A New General Deep Learning Approach for Natural Language Processing
- Deep learning(Nature) 翻译
- Deep Learning 读书笔记(十四):Natural Language Processing (almost) from Scratch
- Natural language processing: Deep Neural networks with multitask learning
- Stanford CS224n: Natural Language Processing with Deep Learning 课程笔记
- 论文Recent Trends in Deep Learning Based Natural Language Processing
- JavaScript Object Prototypes
- Struts2常用标签详解
- 黑马程序员—集合
- 观察者模式
- 帮您分析济南网站优化和推广的区别?
- Deep Learning for Nature Language Processing --- 第四讲(下)
- node.js在前端这个行业中所占的比例
- 【R语言】字符串处理
- 一个苦逼站长四年的网络创业故事
- 文曲星
- C++ 标准库之iomanip
- 好的JavaScript开发人员关键看哪里
- iOS学习笔记
- wps常用快捷键