Test
来源:互联网 发布:知乎 swatch秒针掉了 编辑:程序博客网 时间:2024/06/08 09:58
[latexpage]
# DNN
给定输入input
* FeedForward
Let a_0 = input vector
For i in 1, 2 ... layers:
$$z_i = W_i * a_{i-1} + b_i$$$$a_i = f(z_i)$$
通常 $f$ 是 $Sigmoid$ 或 $ReLU$ 函数
$$Sigmoid(z) = \frac{1}{1 + exp[-z]}$$
$$ReLU(z) = z > 0 ? z : 0$$
分类任务输出层通常为 $$Softmax(z_i) = \frac{exp[z_i - z_{max}]}{\sum exp[z_j - z_{max}]}$$,代表input属于各个类的概率。
绝大部分的运算在 $$Wa+b$$ 上,如果一次仅有一个输入,则 $$x / a$$ 的内容为向量, 若一次输入多个(图像batch处理, 语音多帧音频特征),$$x/a$$ 的内容为矩阵。
故在给定 DNN 模型参数的情况下,计算的核心是矩阵运算,*矩阵\*矩阵* 或 *矩阵\*向量*,本文重点介绍 *矩阵\*向量* 的优化。
# DNN
给定输入input
* FeedForward
Let a_0 = input vector
For i in 1, 2 ... layers:
$$z_i = W_i * a_{i-1} + b_i$$$$a_i = f(z_i)$$
通常 $f$ 是 $Sigmoid$ 或 $ReLU$ 函数
$$Sigmoid(z) = \frac{1}{1 + exp[-z]}$$
$$ReLU(z) = z > 0 ? z : 0$$
分类任务输出层通常为 $$Softmax(z_i) = \frac{exp[z_i - z_{max}]}{\sum exp[z_j - z_{max}]}$$,代表input属于各个类的概率。
绝大部分的运算在 $$Wa+b$$ 上,如果一次仅有一个输入,则 $$x / a$$ 的内容为向量, 若一次输入多个(图像batch处理, 语音多帧音频特征),$$x/a$$ 的内容为矩阵。
故在给定 DNN 模型参数的情况下,计算的核心是矩阵运算,*矩阵\*矩阵* 或 *矩阵\*向量*,本文重点介绍 *矩阵\*向量* 的优化。
0 0
- test
- test
- test
- test
- test
- test
- test
- Test
- test
- Test
- test
- test
- test
- test
- test
- test
- test
- Test
- 最大流模板1
- session_set_save_handler()函数注意细节
- cocos2dx shader在android上失效
- SQL的Join
- 自定义指令
- Test
- URL参数解析
- 行人检测资源
- 【9月软件测试公开课】Parasoft c++test、黑盒测试、LoadRunner三大课程覆盖软件测试全过程
- css实现容器高度 适应 屏幕高度
- Exception
- mysql 行转列
- svn工具使用
- html5定位经纬度不准确,转换百度地图API