Neural Networks and Deep Learning 学习笔记(十)

来源:互联网 发布:b超数据看男孩女孩 编辑:程序博客网 时间:2024/04/26 23:04

MIT那本书不适合短平快的学习方式,转战Udacity里基于Tensorflow的一个视频教学

1. softmax的优势

格式为

exijexj

相比较
xijxj

假设原数据为

[3.0,1.0,0.2]

那么经过softmax运算,则得到
[0.8360188,0.11314284,0.05083836]

经过普通运算得到
[0.714285,0.238095,0.047619]

看起来差不太多。

但是原数据×10后,差别就显示出来了。

经过普通运算的原数据是没有变化的。

[0.714285,0.238095,0.047619]

经过softmax运算前将原数据乘以10以后,softmax运算的结果为

[9.99999998e01,2.06115362e09,6.91440009e13]

显而易见,最大的可能得到的结果几乎为1,其它可能得到的结果几乎为0,换句话说不是0就是1。

经过softmax运算前将原数据除以10以后,softmax运算的结果为

[0.38842275,0.31801365,0.2935636]

同样显而易见,他们几乎相等,均匀分布。

一个分类器开始的时候,需要对分类结果不要抱有太大信心,而在结束的时候要对分类结果抱有很大的信心,显然softmax可以做到这一点。

2. One-hot encoding

就是说
[1,0,0,0,0]对应a
[0,1,0,0,0]对应b
[0,0,0,0,1]对应c
[0,0,1,0,0]对应d
[0,0,0,1,0]对应e
注意后三个没有写错。
每一排是结果向量,显然形成了一一对应关系。

0 0