UFLDL Tutorial 笔记

关于反向传播误差的推导，可以参考下面这个博客，讲得更清楚。
其实一句话就可以讲清楚：多层复合函数的求导，足矣！
http://blog.sina.com.cn/s/blog_88d97475010164yn.html

另外，看了一下网易上加州理工Yaser Abu-Mostafa的机器学习与数据挖掘课程，第十讲神经网络讲得很好。首先从期望的角度对比了batch gradient descent&stochastic gradient descent（SGD）。 然后从逻辑学角度阐述了单层感知器只能实现OR /AND （不能实现XOR）， 而双层感知器则可以实现XOR。
进而解释了双层感知器可以逼近任意的函数（课上用圆为例子，隐层神经元数目很多时相当于就有多个线性决策边界，综合各个决策边界就好比多边形逼近圆了）。最后过渡到神经网络，并说道为了避免复杂的权重优化问题（是一个组合优化问题），用软阀值函数（比如tanh）代替了硬阀值函数（正半轴+1，负半轴-1），从而可以对光滑的函数进行求导，并使用stochastic descent.
总的来说，感觉讲得比较深一些，而且逻辑很清晰，以后有机会要整个过一遍。